Psykologia 2021

Vierailija kirjoitti:

Yks hassu pointti ROC-tehtävässä vielä on muuten se, että Youden Index:n laskeminen tehtävänannon perusteella ei ole yksiselitteisesti mahdollista.

 

Tehtävän aineistossa sanotaan, että:

"tutkija luokitteli aineiston käyttäen luokkarajana ROC-analyysin tarjoamaa parasta katkaisupistettä."

ja tehtävänä oli vastata Youden Indexin arvo aineistossa kuvatulle lukitestille.

Mikäli tutkija käytti aineiston luokittelussa jotain muuta menetelmää kuin Youden Index:iä katkaisupisteen määrittämiseksi, niin tällöin testin Youden Index:iä ei voi laskea taulukon yksi arvoista, vaan se voi olla jotain muutakin kuin a)-vastaus + b)-vastaus - 1.

 

Youdenin indeksi saa eri arvot eri kohdissa käyrää, sen voi kyllä laskea vaikka yksittäisestä pisteestä mutta sitä ei voi maksimoida jos ei tiedä useampaa pistettä. Laskeminen onnistuu kyllä, vaikka ei se kovin mielekästä tässä ole. Tehtävä ei kuitenkaan edellyttänyt minkäänlaista tilastollista tulkintaa, vaan testasi sitä, osaatko käyttää oikeaa kaavaa oikein.

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Osasko täällä kukaan vieläkään vastata siihen, mitä "posterior probability" tarkoittaa? Artikkelissa sanotaan, että ennen testiä lasketaan "prior probabilityn" tai prevalenssin mukaan ja testin jälkeen posterior probabilityn mukaan. Mutta mitä ihmettä tuo posterior probability tarkoittaa?

Tehdään ensin testi ja sen tulosten mukaan tietynlainen jatkotesti.

Ensi vuonna kannattaa oikeasti lukea joku tilastollisten menetelmien teos pohjaksi.

Joo, tarkoitin mitä se posterior probability tässä yhteydessä tarkoittaa. Tässähän tehdään vain yksi testi, eikä mitään jatkotestiä. Eli ennen ja jälkeen testin lasketaan saman prevalenssin mukaan? Ennen testiä on vain sensitiivisyyden ja spesifisyyden estimaatit eli arviot ja testin jälkeen testistä saadut sensitiivisyys ja spesifisyys. Näinkö se siis menee? Eli Bayesin teoreeman mukaan on sama prevalenssi ennen testiä ja testin jälkeen? Siinähän tapauksessa tuo Bayesin teoreeman kaava 10 % prevalenssilla pitäisi hyväksyä. Alan kallistua siihen, että molemmat laskutavat PPV:lle pitäisi hyväksyä. Tehtävänanto on liian sekava.

Tuossa TESTIN aineistossa se prevalenssi on 0,5, mikä on saati toisen hyväksytyn kriteeristön perusteella valitusta aineistosta, jossa puolet on häiriöisiä ja puolet ei. Käskettiin laskea arvot TESTILLE, ei popuulaatiolle jossa prevalenssi on 0,1.

Ei oo missään sanottu että TESTILLE.

Nyt voisit jo lukea sen tehtävänannon uudelleen sieltä taulukon 1 alta lihavoituna.

"Tehtävä 1. Tehtävänäsi on vastata pyydetty arvo tehtävän 1 aineistossa kuvatulle testille" TESTILLE! Testille! TESTILLE!

Lähtee pää irti teidän kaa.

Testille. Ei aineistolle. Testille PPV ja NPV lasketaan edelleenkin aina populaation prevalenssin avulla. Tuossa testiä on vain testattu tuolla n = 250 aineistolla. Testi itsessään on erillinen tuosta aineistosta. Eli tuo aineisto ei vaikuta mitenkään testin ppv ja npv. Aineiston avulla saadaan laskettua sensitiivisyys ja spesifisyys ja niiden ja populaation prevalenssin avulla saadaan laskettua testin PPV ja NPV.

Vierailija kirjoitti:

Vierailija kirjoitti:

Yks hassu pointti ROC-tehtävässä vielä on muuten se, että Youden Index:n laskeminen tehtävänannon perusteella ei ole yksiselitteisesti mahdollista.

 

Tehtävän aineistossa sanotaan, että:

"tutkija luokitteli aineiston käyttäen luokkarajana ROC-analyysin tarjoamaa parasta katkaisupistettä."

ja tehtävänä oli vastata Youden Indexin arvo aineistossa kuvatulle lukitestille.

Mikäli tutkija käytti aineiston luokittelussa jotain muuta menetelmää kuin Youden Index:iä katkaisupisteen määrittämiseksi, niin tällöin testin Youden Index:iä ei voi laskea taulukon yksi arvoista, vaan se voi olla jotain muutakin kuin a)-vastaus + b)-vastaus - 1.

 

Youdenin indeksi saa eri arvot eri kohdissa käyrää, sen voi kyllä laskea vaikka yksittäisestä pisteestä mutta sitä ei voi maksimoida jos ei tiedä useampaa pistettä. Laskeminen onnistuu kyllä, vaikka ei se kovin mielekästä tässä ole. Tehtävä ei kuitenkaan edellyttänyt minkäänlaista tilastollista tulkintaa, vaan testasi sitä, osaatko käyttää oikeaa kaavaa oikein.

"Youden Index maximizes the difference between TPF and FPF." Eli Youden Index saa vain yhden arvon per ROC-käyrä. Tämä siis valintakoemateriaalin perusteella.

Vierailija kirjoitti:

Vierailija kirjoitti:

Mä luulen, että kokeen laatijat on mokannu tässä PPV tehtävässä. Arvelen, että kokeen laatijat on ajatellut, että pitää käyttää TP/(TP+FP) kaavaa, mutta kokeen laatjoilta on mennyt ohi, että tuota kaavaa voi käyttää VAIN jos testin ja populaation prevalenssi on sama.

Joo'o. Erittäin todennäköistä että virhe on kokeen laatijoissa eikä itsessä ;)

Eli mitä sä ehdotat oikeaksi vaihtoehdoksi? Nythän on selvinnyt, että PPV:n voi laskea 2x2 taulukosta vain jos siinä prevalenssi on sama kuin populaatiossa. Tämän mukaan PPV pitäisi siis laskea Bayesin teoreeman kaavalla 10% todennäköisyydellä. Tätä Bayesin teoreeman PPV kaavaa ei ole kertaakaan missään laitettu oikein. Olisi epätodennäköistä, että kokeen laatijat sitä edellyttäisi. Todennäköisempää , että odottavat 2x2 taulukon kaavaa, mutta eivät ole hoksanneet että sitä voi käyttää VAIN jos prevalenssi on sama testissä ja populaatiossa.

Mulle riitti nyt hetkeksi. Jään odottamaan asiasta vastaavan tahon ulostuloa mielenkiinnolla. Olisi myös kiva, jos joku toimittaja ottaisi asiakseen selvitellä tätä sotkua, jos kyseessä edes on sotku. Pää hajoaa tähän väittelyyn. On paljon perusteita sekä puolesta että vastaan, eikä anonyymilla keskustelupalstalla voida tietää, kuka täällä on jonkinlainen auktoriteetti ja kuka ei.

Usein kiinnostaa, miten testi sopii väestötason seulontaan eli silloin esiintyvyys koko populaatiosta. Toisaalta joskus voidaan olla kiinnostuneita siitä, mikä PPV on valikoiduissa väestöryhmissä, joissa häiriön esiintyvyys on keskimääräistä yleisempää eli silloin sen tietyn tutkimusaineiston populaation esiintyvyys. Edelleen olen sitä mieltä, että tämä on tulkinnanvarainen juttu. Ja heille, jotka siitä väärästä kaavasta huutelee, niin kaavaliitteessä on Bayesin teoreema, että jos on ymmärtänyt kaavat (eli mitä se PPV ihan oikeasti tarkoittaa) eikä vain jankannut niitä kirjainyhdistelminä päähän, osaa tuota Bayesin kaavaa soveltaa. Niin kuin täällä on jo mainittu, voi laskea joko frekvensseillä tai sen ja spe avulla, kunhan siellä se kiinnostuksen alla olevan populaation prevalenssi.

Huomaa kyllä että tyypit jotka on laskenut suoraa vaan taulukosta eivät halua taipua siihen että on tullut virhe siinä. Omasta mielestä pitäisi kuitenkin hyväksyä kaikki, myös oikealla Bayesin kaavalla laskettu tulos. Kertoo materiaalin syvemmästä ymmärtämisestä, ja tehtävänanto ei ollut yksitulkintainen (ei moni muukaan tehtävä kokeessa mutta kuitenkin)

Vierailija kirjoitti:

3.15 D-kohta oikein, artikulaation ryhmän tulokset (puheen selkeys) parani kliinisesti merkitsevästi eikä huonontuneet niin kuin kontrolliryhmällä.

Ei voi pitää paikkansa. Artikkelissa lukee suoraan:

"For treatment targeting articulation (articulation group), increases in TA from baseline to post-treatment were not significant (p = 0.18)"

"Although articulation has been considered the strongest contributor to intelligibility in PD dysarthria [26], the post-treatment gain of 6.8% in the articulation group was not statistically significant. However, potential benefits of treatment targeting articulation may be worth exploring for patient populations that typically exhibit more severe oral motor deficits."

Myös Oulussa voi nykyään opiskella psykologiksi.

Vierailija kirjoitti:

Vierailija kirjoitti:

Eiös siellä ollut että sokeat blaa blaaa

Ja sokeutetut blaa blaa

??

Kumpikaan ei ole sokkoutettu

Tehtävä 3

Jokaisessa osatehtävässä 1-5 vastausvaihtoehtoa on oikein.

Tehtävä 3.15

Levyn ym. (2020) artikkelin perusteella on totta että...

A) ...Sokeutuneet kuuntelijat arvioivat... VÄÄRIN

B) ...antamalla sokeutuneiden kuuntelijoiden transkriboida... VÄÄRIN

C) ...Tutkimuksen tulokset osoittavat, että mitä intensiivisempää kuntoutus on, sitä enemmän se vaikuttaa puheen selkeyttä parantavasti... VÄÄRIN

D) ...Tutkimuksen tulokset osoittivat, että ääniterapialla ja artikulaatioterapialla pystyttiin molemmilla hidastamaan taudin aiheuttamia eteneviä muutoksia. VÄÄRIN

E) ...Tutkimuksen tulokset osoittivat, että ääniterapialla ja artikulaatioterapialla pystyttiin molemmilla hidastamaan taudin aiheuttamia eteneviä muutoksia. VÄÄRIN

Näin ollen luulisin, että "sokeutuneet" on pakko olla käännösvirhe, koska mitkään muut vaihtoehdot eivät ole oikein, ja vähintään yhden vaihtoehdon on ohjeiden mukaan oltava oikein. 

Oliko noi identtiset noi e ja d?

Eikös siellä pohdinnassa kuitenkin sanottu, että 5 % ylittävän paranemisen on todettu olevan kliinisesti merkittävä? Mutta siltikään se ei mitenkään ole tilastollisesti merkitsevä

Vierailija kirjoitti:

Eikös siellä pohdinnassa kuitenkin sanottu, että 5 % ylittävän paranemisen on todettu olevan kliinisesti merkittävä? Mutta siltikään se ei mitenkään ole tilastollisesti merkitsevä

"In previous studies in PD, when patients were simply asked to speak louder (i.e., not treated), a minimum gain of 5% in intelligibility for sentences in noise was used as a benchmark for determining clinical meaningfulness"

tänä vuonna alkoi kirjoitti:

Myös Oulussa voi nykyään opiskella psykologiksi.

vasta syksyllä alkaa eli vielä ei voi ;) jos kokeessa olisit kirjoittanut noin, olisi se ollut väärä vastaus!

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Yks hassu pointti ROC-tehtävässä vielä on muuten se, että Youden Index:n laskeminen tehtävänannon perusteella ei ole yksiselitteisesti mahdollista.

 

Tehtävän aineistossa sanotaan, että:

"tutkija luokitteli aineiston käyttäen luokkarajana ROC-analyysin tarjoamaa parasta katkaisupistettä."

ja tehtävänä oli vastata Youden Indexin arvo aineistossa kuvatulle lukitestille.

Mikäli tutkija käytti aineiston luokittelussa jotain muuta menetelmää kuin Youden Index:iä katkaisupisteen määrittämiseksi, niin tällöin testin Youden Index:iä ei voi laskea taulukon yksi arvoista, vaan se voi olla jotain muutakin kuin a)-vastaus + b)-vastaus - 1.

 

Youdenin indeksi saa eri arvot eri kohdissa käyrää, sen voi kyllä laskea vaikka yksittäisestä pisteestä mutta sitä ei voi maksimoida jos ei tiedä useampaa pistettä. Laskeminen onnistuu kyllä, vaikka ei se kovin mielekästä tässä ole. Tehtävä ei kuitenkaan edellyttänyt minkäänlaista tilastollista tulkintaa, vaan testasi sitä, osaatko käyttää oikeaa kaavaa oikein.

"Youden Index maximizes the difference between TPF and FPF." Eli Youden Index saa vain yhden arvon per ROC-käyrä. Tämä siis valintakoemateriaalin perusteella.

Youtubessa hyviä videoita tästäkin. Youdenin indeksille lasketaan arvoja roc-käyrän eri pisteissä (käyrä koostuu kokonaisuudessaan näistä pisteistä), joista suurin antaa tiedon siitä, missä kohtaa käyrä on kauimpana chance leveliltä ts. mikä on optimaalisin cut off.

Vierailija kirjoitti:

Vierailija kirjoitti:

3.15 D-kohta oikein, artikulaation ryhmän tulokset (puheen selkeys) parani kliinisesti merkitsevästi eikä huonontuneet niin kuin kontrolliryhmällä.

Ei voi pitää paikkansa. Artikkelissa lukee suoraan:

"For treatment targeting articulation (articulation group), increases in TA from baseline to post-treatment were not significant (p = 0.18)"

"Although articulation has been considered the strongest contributor to intelligibility in PD dysarthria [26], the post-treatment gain of 6.8% in the articulation group was not statistically significant. However, potential benefits of treatment targeting articulation may be worth exploring for patient populations that typically exhibit more severe oral motor deficits."

parani kuitenkin kontrolliryhmään verrattuna. Ääniryhmään verrattuna ei ollu merkittävästi parempi. Ja ääniryhmä verrattuna kontrolliryhmään oli merkittäväti parempi

Vierailija kirjoitti:

Usein kiinnostaa, miten testi sopii väestötason seulontaan eli silloin esiintyvyys koko populaatiosta. Toisaalta joskus voidaan olla kiinnostuneita siitä, mikä PPV on valikoiduissa väestöryhmissä, joissa häiriön esiintyvyys on keskimääräistä yleisempää eli silloin sen tietyn tutkimusaineiston populaation esiintyvyys. Edelleen olen sitä mieltä, että tämä on tulkinnanvarainen juttu. Ja heille, jotka siitä väärästä kaavasta huutelee, niin kaavaliitteessä on Bayesin teoreema, että jos on ymmärtänyt kaavat (eli mitä se PPV ihan oikeasti tarkoittaa) eikä vain jankannut niitä kirjainyhdistelminä päähän, osaa tuota Bayesin kaavaa soveltaa. Niin kuin täällä on jo mainittu, voi laskea joko frekvensseillä tai sen ja spe avulla, kunhan siellä se kiinnostuksen alla olevan populaation prevalenssi.

Tokihan se on juuri näin. Mutta mikä sun mielestä pitäisi hyväksyä ratkaisuksi tähän tehtävään? Oikea tai väärä Bayesin PPV vai tp/tp+fp? Vai kaikki pitäisi hyväksyä? Sori, mutta ärsyttää tällaiset ympäripyöreät viestit, jotka ei kuitenkaan ota kantaa oikeaan vastaukseen tässä tehtävässä

Varjovalmennuksessa ainakin muistaakseni sanottiin, että jos ei tiedetä 2x2 taulukon arvoja, niin silloin käytetään prevalenssilla toimivaa kaavaa. En tiedä, oliko tällä tarkoitus ilmaista että prevalenssi kaavaa käytetään vain ja ainoastaan jos 2x2 taulukko ei ole näkyvissä ja oletettiin että tehtävänannossa on vain jompi kumpi kerrottu, mutta muistaakseni siellä kuitenkin oli näin ilmaistu asia. Joka tapauksessa omasta mielestäni turha väitellä tästä tehtävästä enää, selvästi kumminkaan vastanneet eivät ole tästä muuttamassa mieltään, eikä voi yksinkertaisesti tietää ennen kuin joku auktoriteetti varmistaa kumpi on oikein vai onko molemmat hyväksyttäviä.

Niin ei tilastollisesti mutta KLIINISESTI.. eli merkitystä on yksilötasolla ja syytä tutkia enemmän. Ja edelleenkään tulokset eivät huonontuneet mitä teki kontrolliryhmällä. Ja Parkinsonia sairastavien kanssa työskentelevänä voin kertoa ilman tutkimustakin, että heidän puheen selkeys huononee ajan kanssa.

Mullakin alkaa hajota pää...

Ei kannata päätä vaivata näillä, jos ne oli virheitä, niin niitä ei arvostella ja jos taas arvostellaan, niin niistä voi valittaa..

kovin vähän jää vaan kokeeseen enää arvosteltavia kohteita kun nää kaikki otetaan huomioon. 😅 Sisään pääsee ne jotka hallitsi kokeessa jaetun artikkelin ja pärjäs loogisissa. Eli valmistautumisella ei ollut mitään virkaa. Toisaalta hyvä niin, mutta olisi ollut reilua olla silloin jakamatta mitään ennakkomateriaalia! Yhtä kiusaa ja kyykytystä koko koe.

Hyvää kesää kaikille. Ihmetellään kuukauden päästä lisää kun saadaan oikeat vastaukset tietoon.

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Yks hassu pointti ROC-tehtävässä vielä on muuten se, että Youden Index:n laskeminen tehtävänannon perusteella ei ole yksiselitteisesti mahdollista.

 

Tehtävän aineistossa sanotaan, että:

"tutkija luokitteli aineiston käyttäen luokkarajana ROC-analyysin tarjoamaa parasta katkaisupistettä."

ja tehtävänä oli vastata Youden Indexin arvo aineistossa kuvatulle lukitestille.

Mikäli tutkija käytti aineiston luokittelussa jotain muuta menetelmää kuin Youden Index:iä katkaisupisteen määrittämiseksi, niin tällöin testin Youden Index:iä ei voi laskea taulukon yksi arvoista, vaan se voi olla jotain muutakin kuin a)-vastaus + b)-vastaus - 1.

 

Youdenin indeksi saa eri arvot eri kohdissa käyrää, sen voi kyllä laskea vaikka yksittäisestä pisteestä mutta sitä ei voi maksimoida jos ei tiedä useampaa pistettä. Laskeminen onnistuu kyllä, vaikka ei se kovin mielekästä tässä ole. Tehtävä ei kuitenkaan edellyttänyt minkäänlaista tilastollista tulkintaa, vaan testasi sitä, osaatko käyttää oikeaa kaavaa oikein.

"Youden Index maximizes the difference between TPF and FPF." Eli Youden Index saa vain yhden arvon per ROC-käyrä. Tämä siis valintakoemateriaalin perusteella.

Youtubessa hyviä videoita tästäkin. Youdenin indeksille lasketaan arvoja roc-käyrän eri pisteissä (käyrä koostuu kokonaisuudessaan näistä pisteistä), joista suurin antaa tiedon siitä, missä kohtaa käyrä on kauimpana chance leveliltä ts. mikä on optimaalisin cut off.

Tuon perusteella Youden Index saa useita eri arvoja 0:n ja 1:n välillä.

Silloin tehtävänannossa olisi pitänyt pyytää laskemaan Youden Index:n maksimi.

Mutta Youden Indexin maksimiakaan ei voi laskea taulukon 1 aineistosta, ellei ole tarkasti sanottu että tutkija oli käyttänyt Youden Indexiä määrittämään parhaimman katkaisupisteen.