Psykologia 2021

Vierailija kirjoitti:

Mietittyäni asiaa yön yli, niin ei tuo ROC-tehtävä mielestäni ole edes tulkinnanvarainen. Kirjoitin täällä noin parikymmentä sivua sitten siitä, kuinka se varmasti oli tarkoitus laskea tp/tp+fp kaavalla 50% prevalenssilla. Nyt, kun olen nähnyt tehtävänannon rauhassa kotona, olen kuitenkin eri mieltä.

Ratkaiseva kohta tehtävänannossa on mielestäni tuo "Tässä tehtävässä lähdetään oletuksesta, että tiedetään, että tasan 10%:lla väestöstö on lukihäiriö". Tuota ei esitettäisi noin, mikäli sitä ei tarvitsisi huomioida. Artikkelissa todetaan seuraavaa: "Thus one calculates the PPV and NPV if one knows the sensitivity, spesificity and pre-test probability of the diseased in population (i.e. prevalence). These two indices are influenced by the prevalence of disease. When disease prevalence is high the PPV increases and the NPV decreases." Se, että esiintyvyys väestössä vaikuttaa todetaan jo aikaisemmin tekstissä kertaalleen.

Täällä nyt vängätään siitä, että Bayes on väärin materiaalissa. Mitä sitten? Tämän tason kokeessa voidaan edellyttää, että hakija on ymmärtänyt käsitteet, sen sijaan, että olisi vain opetellut ulkoa kaavat. Ymmärtämällä mikä PPV on, voidaan päätellä, että sen voi laskea myös ilman Bayesia, mutta silloinkin on huomioitava esiintyvyys. TP ja FP eivät ole pelkkiä numeroita paperilla, vaan ne edustavat jotain. Ei pitäisi olla liian vaikeaa päätellä, miten prevalenssia sovelletaan TP/TP+FP kaavaan.

Tehtävässä on minun nähdäkseni täysin yksiselitteisesti ollut tarkoitus laskea sensitiivisyys ja spesifisyys tutkijan kahden otoksen perusteella, päätellä näistä Youdenin indeksi (kritisoin tätäkin aiemmin, nyt nostan käden ilmaan oman virheen merkiksi) ja kahden ensiksi mainitun avulla selvittää testin positiivinen ja negatiivinen ennustearvo väestössä.

Psykologian pääsykoe on lähestulkoon täysin loogisen päättelyn koe, jossa ei hauki on kala-ajattelulla pitkälle pötki. Ymmärrän, että tämä harmittaa monia, mutta juuri tällaisia kokeiden pitäisikin olla. Lukio on ohi, enää ei pärjää kaavoja opettelemalla, nyt pitäisi jo alkaa ymmärtää lukemaansa. Katsokaa nyt vaikka vanhoja kokeita, kyllä siellä paljon soveltavia tehtäviä on ollut. Ja onhan siellä niitä monivalintojakin, joissa saattaa pärjätä pelkällä pänttäämisellä. Joku palkitaan tunnollisesta opiskelusta, toinen hyvästä päättelykyvystä, kolmas paineensietokyvystä ja neljäs edellämainittujen harmonisesta sekoituksesta. Minä mokasin kokeen täysin, mutta ei se kokeesta huonoa tee, vaikka mua vieläkin ärsyttää moni tehtävä enkä ole varma siitä, olenko minä vai kokeen laatija väärässä. Kyllä näihin vielä selvyys saadaan, ainakin jonkinlainen.

Virkistävän kypsää ajattelua. Kykysi itsereflektioon ja soveltavaan ajatteluun, sekä tästä tekstistä tulkittava hyvä asenteesi jo itsessään antaisi minusta sinulle oikeuden päästä opiskelemaan. Yhdyn joka sanaan liittyen NPV & PPV soveltamisesta :) Näin se juurikin on.

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

"Tässä tehtävässä lähetään oletuksesta,..."

No ei lähettäisi, jos ei otettaisi huomioon.

Ainahan sitä voi lähteä kaikenlaisista oletuksista. Mutta sen jälkeen voi tulla tietoa millä on enemmän merkitystä

Missä tällaista tietoa on tullut? Kirjoitatko tähän sen kohdan tehtävänannossa, joka mielestäsi kumoaa tuon, niin mietitään.

Se taulukko, jossa kerrotaan uuden testin tulokset.

Yhtä hyvin tehtävänannossa voisi lukea, että lähdetään oletuksesta, että Kuu on juustoa. Sitten tutkija on tehnyt tutkimuksia ja havainnut, että Kuussa onkin maata ja vettä näillä suhteilla.

Testin tulokset otoksella, joka ei vastaa populaatiota (tiedetään koska tehtävässä kerrotaan, että väestössä esiintyvyys 10%). Ei tuo taulukko muuta väestön esiintyvyyttä (jota käytetään PPV laskemiseen)

Kiitos kauniista sanoistasi. Toivottavasti ansaitsen oikeuden päästä opiskelemaan myös yliopiston mielestä :)

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

"Tässä tehtävässä lähetään oletuksesta,..."

No ei lähettäisi, jos ei otettaisi huomioon.

Ainahan sitä voi lähteä kaikenlaisista oletuksista. Mutta sen jälkeen voi tulla tietoa millä on enemmän merkitystä

Missä tällaista tietoa on tullut? Kirjoitatko tähän sen kohdan tehtävänannossa, joka mielestäsi kumoaa tuon, niin mietitään.

Tehtävänäsi on vastata pyydetty arvo tehtävän 1 aineistossa kuvatulle lukitestille. TESTILLE

Millä tavalla tämä mielestäsi kumoaa tuon 10% prevalenssin? Sitä hyödyntämällähän nimenomaan lasketaan ennustearvo TESTILLE väestössä.

Positiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa on lukihäiriö, kun uuden lukitestin perusteella hänelle se luokitellaan. b HENKILÖLLÄ LUKITESTIN PERUSTYEELLA eidpuhuta väestöstä mitään!

e) Negatiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa ei ole lukihäiriötä, kun hänelle uuden lukitestin perusteella ei sitä luokitella  HENKILÖLLÄ TESTIN PERUSTEELLA taas ei puhuta väestöstä Mitään!

Tehtävä 1. Tehtävänäsi on vastata pyydetty arvo tehtävän 1 aineistossa kuvatulle lukitestille. 

Ei puhuta väestöstä mitään. Itse ajattelin niin, että ollaan ihan lähtövaiheessa. Eli tutkija on vasta saanut tulokset ja lähtee laskemaan oman lukitestin npv jne. Sen jälkeen vasta, kun on laskenut omalle testille arvot voi lähteä soveltamaan sitä koko väestöön. Mutta sitähän tässä ei pyydetty, vaan vasta oltiin lähtökuopissa.

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

"Tässä tehtävässä lähetään oletuksesta,..."

No ei lähettäisi, jos ei otettaisi huomioon.

Ainahan sitä voi lähteä kaikenlaisista oletuksista. Mutta sen jälkeen voi tulla tietoa millä on enemmän merkitystä

Missä tällaista tietoa on tullut? Kirjoitatko tähän sen kohdan tehtävänannossa, joka mielestäsi kumoaa tuon, niin mietitään.

Tehtävänäsi on vastata pyydetty arvo tehtävän 1 aineistossa kuvatulle lukitestille. TESTILLE

Millä tavalla tämä mielestäsi kumoaa tuon 10% prevalenssin? Sitä hyödyntämällähän nimenomaan lasketaan ennustearvo TESTILLE väestössä.

Positiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa on lukihäiriö, kun uuden lukitestin perusteella hänelle se luokitellaan. b HENKILÖLLÄ LUKITESTIN PERUSTYEELLA eidpuhuta väestöstä mitään!

e) Negatiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa ei ole lukihäiriötä, kun hänelle uuden lukitestin perusteella ei sitä luokitella  HENKILÖLLÄ TESTIN PERUSTEELLA taas ei puhuta väestöstä Mitään!

Ei tässä enää tarvitse puhua väestöstä mitään, se on mainittu jo aikaisemmin tehtävänannossa. Positiivinen ennustearvo (eli todennäköisyys, että henkilöllä todellisuudessa on lukihäiriö, kun uuden lukitestin perusteella hänelle se luokitellaan) kuvastaa (hyvin yksinkertaistettuna) sitä, kuinka paljon tuo 10% tn muuttuu positiivisen testituloksen myötä. Miksi ihmeessä me haluaisimme laskea ennustearvon henkilölle, jonka tilan me jo tiedämme? Huomaan, että tämä on sinulle kova paikka. Mielipidekysymys tämä ei kuitenkaan ole.

Tarkoitukseni ei ole olla ilkeä tai puolustaa omaa kantaani, yritän olla mahdollisimman objektiivinen. Tehtävänannon uudestaan nähtyäni en kuitenkaan ole kuullut yhtäkään hyvää argumenttia väestön prevalenssin huomiotta jättämisen puolesta. Ajattelin pitkään, että hyvin perusteltu oikaisuvaatimus menee läpi riippumatta siitä kummalla tavalla on laskenut. Tällä hetkellä en kuitenkaan kykene näkemään, miten kukaan pystyisi perustelemaan tuon 10% prevalenssin huomiotta jättämisen.

Vuoden 2017 vastaavassa tehtävässä oli pyydetty laskemaan PPV ja NPV satunnaiselle suomalaiselle. Silloin piti ottaa esiintyvyys huomioon. Tässä tehtävässä ei puhuttu mitään satunnaisesta henkilöstä. Tässä puhutaan vain henkilöstä. Eli tutkimukseen osallistunut henkilö.

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

"Tässä tehtävässä lähetään oletuksesta,..."

No ei lähettäisi, jos ei otettaisi huomioon.

Ainahan sitä voi lähteä kaikenlaisista oletuksista. Mutta sen jälkeen voi tulla tietoa millä on enemmän merkitystä

Missä tällaista tietoa on tullut? Kirjoitatko tähän sen kohdan tehtävänannossa, joka mielestäsi kumoaa tuon, niin mietitään.

Tehtävänäsi on vastata pyydetty arvo tehtävän 1 aineistossa kuvatulle lukitestille. TESTILLE

Millä tavalla tämä mielestäsi kumoaa tuon 10% prevalenssin? Sitä hyödyntämällähän nimenomaan lasketaan ennustearvo TESTILLE väestössä.

Positiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa on lukihäiriö, kun uuden lukitestin perusteella hänelle se luokitellaan. b HENKILÖLLÄ LUKITESTIN PERUSTYEELLA eidpuhuta väestöstä mitään!

e) Negatiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa ei ole lukihäiriötä, kun hänelle uuden lukitestin perusteella ei sitä luokitella  HENKILÖLLÄ TESTIN PERUSTEELLA taas ei puhuta väestöstä Mitään!

Ei tässä enää tarvitse puhua väestöstä mitään, se on mainittu jo aikaisemmin tehtävänannossa. Positiivinen ennustearvo (eli todennäköisyys, että henkilöllä todellisuudessa on lukihäiriö, kun uuden lukitestin perusteella hänelle se luokitellaan) kuvastaa (hyvin yksinkertaistettuna) sitä, kuinka paljon tuo 10% tn muuttuu positiivisen testituloksen myötä. Miksi ihmeessä me haluaisimme laskea ennustearvon henkilölle, jonka tilan me jo tiedämme? Huomaan, että tämä on sinulle kova paikka. Mielipidekysymys tämä ei kuitenkaan ole.

Tässä tutkitaan testiä. Eli kuinka hyvin uusi testi tunnistaa "terveet ja sairaat". Tottakai silloin pitää tietää tutkittavan henkilön todellinen tila. Nuo ennustearvot kertovat, kuinka hyvin uusi testi osaa erotella terveet ja sairaat toisistaan. Tähän ei tarvita prevalenssia, paitsi siinä vaiheessa kun testiä lähdetään soveltamaan väestöön ja väestöstä satunnaisesti valittuun henkilöön.

Tää oli vaan epäselvä tehtävä. Ei voida edellyttää, että oikea bayes on osattu johtaa artikkelista. Jotkut ovat olleet riittävän fiksuja tekemään sen itse, mutta suuri osa on saanut oikean kaavan valmennuskurssilta - ei saa olla niin, että materiaalin oikea tulkinta tai korjausten saaminen edellyttää valmennuskurssia.

Oikea ratkaisu olisi antaa pisteet kaikille kummalla tahansa tyylillä oikein laskeneille tai jättää nämät kohdat huomiotta ja lisätä muiden ykköstehtävän kohtien painoa.

Vierailija kirjoitti:

Vuoden 2017 vastaavassa tehtävässä oli pyydetty laskemaan PPV ja NPV satunnaiselle suomalaiselle. Silloin piti ottaa esiintyvyys huomioon. Tässä tehtävässä ei puhuttu mitään satunnaisesta henkilöstä. Tässä puhutaan vain henkilöstä. Eli tutkimukseen osallistunut henkilö.

Ei se välttämättä viittaa testiin osallistuneeseen henkilöön. Mutta kuten jo sanottu, tehtävänannon perusteella PPV:n ja NPV:n  voi laskea populaation prevalensin perusteella tai "screened population" (=testiporukan) prevalenssin perusteella. Vaikka aluksi oletetaan populaation esiintyvyyttä, ei itse kysymys tarkenna, valitaanko henkilö screened populaatiosta vai koko populaatiosta. 

Myös PPA artikkelissa oli laskettu sens, spes, PPV ja NPV arvoja ”uusille” testeille. Koitin tarkistaa, miten he ovat laskeneet PPV ja NPV arvot. Katsoin kohtaa, jossa he ovat selkeimmin kertoneet, mitä ovat tehneet eli taulukko 4, kohta ”Logopenic variant primary progressive aphasia versus semantic dementia and non-fluent variant PPA”.  Taulukon PPV ja NPV arvot vastaavat lukuja, jotka saan, kun käytän laskemiseen testihenkilöiden mukaan laskettua prevalenssia eli lvPPA 13 henkilöä, SD 8 henkilöä ja nfPPA 12 henkilöä (p=13/33).

Valintakokeen tehtävässä puhuttiin vain testiin osallistuneista henkilöistä. Mielestäni tehtävässä pitäisi ehdottomasti olla maininta, jos testiin tulee satunnainen henkilö populaatiosta, ja hänelle tulee laskea PPV.

Hei kokeen tekijät, me tiedetään, että te seuraatte tätä keskustelua. Toivottavasti se on ollut viihdyttävää! :D

Kirjoitattehan malliratkaisuihin perustelut tämän tehtävän yhteyteen mitä siinä on haettu. Säästätte sillä omaa vaivaannekin, kun ei tule niin paljon oikaisupyyntöjä.

Toivottavasti myös havaitsitte, että tehtävänne oli liian tulkinnanvarainen. Tehtävien ei tarvitse eikä pidäkään olla helppoja, mutta ei ne saa olla sellaisiakaan, ettei huolellisesti valmistautunut henkilö edes ymmärrä niitä.

Vierailija kirjoitti:

Myös PPA artikkelissa oli laskettu sens, spes, PPV ja NPV arvoja ”uusille” testeille. Koitin tarkistaa, miten he ovat laskeneet PPV ja NPV arvot. Katsoin kohtaa, jossa he ovat selkeimmin kertoneet, mitä ovat tehneet eli taulukko 4, kohta ”Logopenic variant primary progressive aphasia versus semantic dementia and non-fluent variant PPA”.  Taulukon PPV ja NPV arvot vastaavat lukuja, jotka saan, kun käytän laskemiseen testihenkilöiden mukaan laskettua prevalenssia eli lvPPA 13 henkilöä, SD 8 henkilöä ja nfPPA 12 henkilöä (p=13/33).

Valintakokeen tehtävässä puhuttiin vain testiin osallistuneista henkilöistä. Mielestäni tehtävässä pitäisi ehdottomasti olla maininta, jos testiin tulee satunnainen henkilö populaatiosta, ja hänelle tulee laskea PPV.

Puurot ja vellit sekaisin. Puhut nyt sensitiivisyydestä ja spesifisyydestä, voidaan laskea miten hyvin esim. LDA:n mukaan testit erottelivat alatyyppejä, mutta tämä on ihan eri asia kuin NPV ja PPV. Tehtävänannossa ohjataan ihan selkeästi huomioimaan esiintyvyys + mitään lisäarvoa emme saa, jos laskemme ennustusarvoa jollekin, josta on jo tieto olemassa - jos tätä ei ymmärrä, niin ei ymmärrä nyt ydintä. Tässä testattiin kykyä soveltaa ja sisäistää koko NPV ja PPV käsite eli vaihtelee merkittävästi populaation mukaan, kuten tuolla aiemmin joku oli hienosti jo artikuloinut asiallisesti. Mieti nyt jos vertaat lukuja molemmilla tavoin laskettuna, mitä lisäarvoa nyt PPV antaa sinulle? Ei mitään... haluat tottakai tietää miten esiintyvyys vaikuttaa. Ja koska esiintyvyys on melko matalaa tässä populaatiossa, niin silloin myös PPV on melko matala. Mutta itse en tähän väittelyyn lähde, koska vaikuttaa siltä, että toinen osapuoli ei ymmärrä ja egoa puolustellakseen väittelee - ei ole siis edes valmis taipumaan, vaikka huomaisi olevansa väärässä, mikä sotii koko tieteellistä ajattelua vastaan. 

Luuletko todella, että kokeen tekijöillä on halua / aikaa seurata egoistisia väittelyitä Vauva-foorumilla? Didn't think so. 

Millä tavalla tehtävä on tulkinnanvarainen? Tehtävänannossa sanotaan, että tehtävässä lähdetään siitä, että tiedetään esiintyvyyden väestössä olevan 10%. Ennakkomateriaalissa sanotaan, että PPV ja NPV lasketaan, mikäli tiedetään esiintyvyys väestössä ja nyt me tiedämme sen, se on 10%. Tässä ei ole mitään epäselvää. Bayesia ei tarvita. (0,1xTP)/(0,1xTP+0,9xFP) ajaa saman asian.

Kokonaisuuden kannalta kyseessä on aika pieni murhe. Koko tehtävästä sai vissiin 14% pisteistä ja tehtävässä oli 6 kohtaa.

Saattaa olla, että bayes-tapa on oikea, vaikka laskinkin itse toisin. Eräs valintani syy oli se, että ainoat korrektit kaavat ennakkomateriaalissa oli tarjottu otoksesta laskemiseen. On eettisesti väärin, jos kokeessa menestyminen on vaatinut materiaalin korjaamista tai korjausten hankkimista esim. valmennuskurssilta. Tässä valossa jopa väärällä bayesilla ratkaistu tulos pitäisi hyväksyä, koska kokeessakin sanotaan että artikkeleissa on oletusarvoisesti totuus. Pitäisi mainita, että materiaalissa voi olla virheitä, jotka kokelaan on osattava tunnistaa. Tällöin ko. kikkailu olisi jotenkin puolustettavissa.

Not kirjoitti:

Luuletko todella, että kokeen tekijöillä on halua / aikaa seurata egoistisia väittelyitä Vauva-foorumilla? Didn't think so. 

Kyllä seuraavat tätä ja muutamaa muutakin foorumia, joissa tosissaan hakevat keskustelevat. Eivät tietenkään sanasta sanaan, mutta seuraavat kuitenkin.

Mahtava, ilmaiseksi koottu datalähde tiedosta, jota ei millään järjellisellä keinolla saisi muuten kerättyä.

Vierailija kirjoitti:

Vierailija kirjoitti:

Myös PPA artikkelissa oli laskettu sens, spes, PPV ja NPV arvoja ”uusille” testeille. Koitin tarkistaa, miten he ovat laskeneet PPV ja NPV arvot. Katsoin kohtaa, jossa he ovat selkeimmin kertoneet, mitä ovat tehneet eli taulukko 4, kohta ”Logopenic variant primary progressive aphasia versus semantic dementia and non-fluent variant PPA”.  Taulukon PPV ja NPV arvot vastaavat lukuja, jotka saan, kun käytän laskemiseen testihenkilöiden mukaan laskettua prevalenssia eli lvPPA 13 henkilöä, SD 8 henkilöä ja nfPPA 12 henkilöä (p=13/33).

Valintakokeen tehtävässä puhuttiin vain testiin osallistuneista henkilöistä. Mielestäni tehtävässä pitäisi ehdottomasti olla maininta, jos testiin tulee satunnainen henkilö populaatiosta, ja hänelle tulee laskea PPV.

Puurot ja vellit sekaisin. Puhut nyt sensitiivisyydestä ja spesifisyydestä, voidaan laskea miten hyvin esim. LDA:n mukaan testit erottelivat alatyyppejä, mutta tämä on ihan eri asia kuin NPV ja PPV. Tehtävänannossa ohjataan ihan selkeästi huomioimaan esiintyvyys + mitään lisäarvoa emme saa, jos laskemme ennustusarvoa jollekin, josta on jo tieto olemassa - jos tätä ei ymmärrä, niin ei ymmärrä nyt ydintä. Tässä testattiin kykyä soveltaa ja sisäistää koko NPV ja PPV käsite eli vaihtelee merkittävästi populaation mukaan, kuten tuolla aiemmin joku oli hienosti jo artikuloinut asiallisesti. Mieti nyt jos vertaat lukuja molemmilla tavoin laskettuna, mitä lisäarvoa nyt PPV antaa sinulle? Ei mitään... haluat tottakai tietää miten esiintyvyys vaikuttaa. Ja koska esiintyvyys on melko matalaa tässä populaatiossa, niin silloin myös PPV on melko matala. Mutta itse en tähän väittelyyn lähde, koska vaikuttaa siltä, että toinen osapuoli ei ymmärrä ja egoa puolustellakseen väittelee - ei ole siis edes valmis taipumaan, vaikka huomaisi olevansa väärässä, mikä sotii koko tieteellistä ajattelua vastaan. 

Aiempi oli ensimmäinen kommentini koko keskustelussa. Ymmärrän kyllä PPV ja NPV käsitteet ja pointtisi. Juuri sen takia halusinkin jakaa kaikille huomioni tuosta PPA-artikkelista, ihan ystävällisessä hengessä. Siis, että noita PPV ja NPV arvoja taidetaan tosiaan laskea testin validoinnin yhteydessä, vaikka ne tietysti riippuvatkin testipopulaation prevalenssista. Selvästi olet itsekin perehtynyt asiaan, ja yhdessä saadaan tästä varmasti enemmän irti.

”Tehtävä 1. Tehtävänäsi on vastata pyydetty arvo tehtävän 1 aineistossa kuvatulle lukitestille.

d) Positiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa on lukihäiriö, __kun uuden lukitestin perusteella hänelle se luokitellaan.__

e) Negatiivinen ennustearvo eli todennäköisyys, että henkilöllä todellisuudessa ei ole lukihäiriötä, __kun hänelle uuden lukitestin perusteella ei sitä luokitella__”

Minusta näissä pitäisi olla, että ”kun uuden lukitestin perusteella hänelle se on luokiteltu”, mikäli mitattaisiin tämän kyseisen 250 tutkittavan otoksen PPV & NPV.