Lue keskustelun säännöt.
Tervetuloa lukemaan keskusteluja! Kommentointi on avoinna klo 7 - 23.
Tervetuloa lukemaan keskusteluja! Kommentointi on avoinna klo 7 - 23.
Alue: Aihe vapaa
Kuinka suuri osuus tutkimusartikkeleista on huuhaata, jotka tehdään vain, koska jonkun pitää saada julkaistua jotain?
Kommentit (31)
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Artikkelit vertaisarvioidaan 2-3 ulkopuolisella tutkijalla, jotta huuhaata ei pääsisi läpi.
No mutta niillähän on herrasmiessopimus, että huuhaa päästetään läpi, koska näiden arvioijienkin pitää saada oma huuhaansa julkaistua.
Ei kirjoittaja voi vaikuttaa siihen ketä ne arvioijat ovat. Eikä edes saa tietää keitä he ovat. Et taida paljon ymmärtää tieteestä.
Ei se nyt ihan noinkaan ole.
Why Peer-Review Fails
https://blogs.unimelb.edu.au/sciencecommunication/2019/10/22/48414/
No hei tuo on blogiteksti.
Toki vertaisarvioinnissa on heikkoutensa mutta sen rinnalla voi käyttää muitakin arviointikeinoja ja siten saada hyvä käsitys tasosta.
Sisältö jatkuu mainoksen alla
Sisältö jatkuu mainoksen alla
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Artikkelit vertaisarvioidaan 2-3 ulkopuolisella tutkijalla, jotta huuhaata ei pääsisi läpi.
No mutta niillähän on herrasmiessopimus, että huuhaa päästetään läpi, koska näiden arvioijienkin pitää saada oma huuhaansa julkaistua.
Tätäkin on nähty. Havaintoaineisto n=20 on ihan kelvollinen, kun outflierit on poistettu havainnoista.
Outflierit? The truth is out there...
Ehkä outlierit?
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Artikkelit vertaisarvioidaan 2-3 ulkopuolisella tutkijalla, jotta huuhaata ei pääsisi läpi.
No mutta niillähän on herrasmiessopimus, että huuhaa päästetään läpi, koska näiden arvioijienkin pitää saada oma huuhaansa julkaistua.
No ei voi olla, vertaisarviointi on anonyymiä. Et siis tiedä kenen sepustusta arvioit ja kuka sinun sepustuksiasi arvioi.
No ihan varmasti tietää, kenen sepustusta arvioi, koska ei näitä tutkimuksia missään eristyksissä tehdä. Kyllä se on ihan julkista tietoa, että kuka se niitä keltatäpläisiä norsuja onkaan tutkimassa, vaikka nimeä ei siinä arvioitavassa paperissa lukisikaan.
Piirit on pienet ja kaikki tietää kyllä, kuka tutkii mitäkin.
Vierailija kirjoitti:
Vierailija kirjoitti:
[quote
=Vierailija]
Vierailija kirjoitti:
Artikkelit vertaisarvioidaan 2-3 ulkopuolisella tutkijalla, jotta huuhaata ei pääsisi läpi.
No mutta niillähän on herrasmiessopimus, että huuhaa päästetään läpi, koska näiden arvioijienkin pitää saada oma huuhaansa julkaistua.
No ei voi olla, vertaisarviointi on anonyymiä. Et siis tiedä kenen sepustusta arvioit ja kuka sinun sepustuksiasi arvioi.
No ihan varmasti tietää, kenen sepustusta arvioi, koska ei näitä tutkimuksia missään eristyksissä tehdä. Kyllä se on ihan julkista tietoa, että kuka se niitä keltatäpläisiä norsuja onkaan tutkimassa, vaikka nimeä ei siinä arvioitavassa paperissa lukisikaan.
Piirit on pienet ja kaikki tietää kyllä, kuka tutkii mitäkin.
Ai niinkuin Covid-19: a?
Vierailija kirjoitti:
Ensin pitäisi määritellä, mitä tarkoitat ”huuhaalla”, jotta tämä keskustelu olisi mitenkään mielekäs. Itse tunnen vain yhteiskuntatieteiden alaa.
Yleisesti on todettu, että uudet, aiemmasta poikkeavia tutkimustuloksia esittävät artikkelit ovat yleisempiä kuin tutkimusjulkaisut, joissa vahvistetaan jo pitkään vallalla ollutta hypoteesia. Tämä on toisaalta ihan luonnollisesta sekä tutkijoiden oman motivaation että tiedeyhteisön mielenkiinnon näkökulmasta. Toisaalta vain kylliksi samanlaisia asetelmia toistamalla saadaan vakiinnutettua ja yleistyttyä tutkimustietoa.Se on myös yleistä, että samasta aineistosta ja samasta asetelmasta tehtaillaan useita artikkeleita eri julkaisuihin, ja että niiden hypoteeseissä tai johtopäätöksissä on vain pieniä vivahde-eroja kokonaisuuden kannalta. Tämä on minusta ehkä se isoin ”huuhaa-ongelma”, koska akateeminen järjestelmä kannustaa ensisijaisesti julkaisemaan määrällisesti paljon, ei ensisijaisesti laadullisesti/sisällöllisesti uutta.
Kaksi hyvää kirjaa (tutkimusta) samasta aineistosta erilaisine tulkintoineen.
Ordinary Men (1992), Christopher Browning
ja
Hitler's Willing Executioners (1997), Daniel Jonah Goldhagen
Sisältö jatkuu mainoksen alla
Kannattaa ennemmin katsoa kuka on tutkimuksen rahoittaja. Helposti tuloksia väännellään ja käännellään rahoittajan hyväksi, jotta saadaan jatkossakin rahoittajia.
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Artikkelit vertaisarvioidaan 2-3 ulkopuolisella tutkijalla, jotta huuhaata ei pääsisi läpi.
No mutta niillähän on herrasmiessopimus, että huuhaa päästetään läpi, koska näiden arvioijienkin pitää saada oma huuhaansa julkaistua.
Ei kirjoittaja voi vaikuttaa siihen ketä ne arvioijat ovat. Eikä edes saa tietää keitä he ovat. Et taida paljon ymmärtää tieteestä.
Ei se nyt ihan noinkaan ole.
Why Peer-Review Fails
https://blogs.unimelb.edu.au/sciencecommunication/2019/10/22/48414/
No hei tuo on blogiteksti.
Toki vertaisarvioinnissa on heikkoutensa mutta sen rinnalla voi käyttää muitakin arviointikeinoja ja siten saada hyvä käsitys tasosta.
Oli joo blogikirjoitus, mutta siinä esiin nostetut pointit näyttäisivät olevan valideja. Ja onhan muita vertaisarviointia kritisoivia artikkeleja ja tekstejä vaikka kuinka, kunhan vähän tekee hakuja.
Vertaisarviointia palvotaan akateemisessa maailmassa yhdenlaisena jumalana, vaikka todellisuudessa vertaisarvioinnin läpäissyt artikkeli voi sisältää lukuisia virheitä tai olla ns. huuhaata.
Esim.
Peer review might also be useful for detecting errors or fraud. At the BMJ we did several studies where we inserted major errors into papers that we then sent to many reviewers.3,4 Nobody ever spotted all of the errors. Some reviewers did not spot any, and most reviewers spotted only about a quarter. Peer review sometimes picks up fraud by chance, but generally it is not a reliable method for detecting fraud because it works on trust.
Sisältö jatkuu mainoksen alla
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Vierailija kirjoitti:
Artikkelit vertaisarvioidaan 2-3 ulkopuolisella tutkijalla, jotta huuhaata ei pääsisi läpi.
No mutta niillähän on herrasmiessopimus, että huuhaa päästetään läpi, koska näiden arvioijienkin pitää saada oma huuhaansa julkaistua.
Ei kirjoittaja voi vaikuttaa siihen ketä ne arvioijat ovat. Eikä edes saa tietää keitä he ovat. Et taida paljon ymmärtää tieteestä.
Ei se nyt ihan noinkaan ole.
Why Peer-Review Fails
https://blogs.unimelb.edu.au/sciencecommunication/2019/10/22/48414/
No hei tuo on blogiteksti.
Toki vertaisarvioinnissa on heikkoutensa mutta sen rinnalla voi käyttää muitakin arviointikeinoja ja siten saada hyvä käsitys tasosta.
Oli joo blogikirjoitus, mutta siinä esiin nostetut pointit näyttäisivät olevan valideja. Ja onhan muita vertaisarviointia kritisoivia artikkeleja ja tekstejä vaikka kuinka, kunhan vähän tekee hakuja.
Vertaisarviointia palvotaan akateemisessa maailmassa yhdenlaisena jumalana, vaikka todellisuudessa vertaisarvioinnin läpäissyt artikkeli voi sisältää lukuisia virheitä tai olla ns. huuhaata.
Esim.
Peer review might also be useful for detecting errors or fraud. At the BMJ we did several studies where we inserted major errors into papers that we then sent to many reviewers.3,4 Nobody ever spotted all of the errors. Some reviewers did not spot any, and most reviewers spotted only about a quarter. Peer review sometimes picks up fraud by chance, but generally it is not a reliable method for detecting fraud because it works on trust.
Vertaisarvioinnista ei makseta niin paljon (jos mitään), että arvioija voisi oikeasti selvittää esim. käytetyn datan oikeellisuuden. Sehän voisi vaatia vuosien työn! Tietenkin arviointi perustuu siinä mielessä luottamukseen, että oletetaan, ettei tutkija tahallaan valehtele. Arviointi koskee lähinnä itseraportoitujen tutkimusmenetelmien ja tulosten tulkinnan asianmukaisuutta.
Onhan se aika pervoksi mennyt, kun lähtökohta on se, että pitää saada julkaistua jotain.
Kun lähtökohdan pitäisi olla se, että keksii jotain uutta ja mullistavaa, jonka sivutuotteena kirjoitetaan sitten se artikkeli.
Sisältö jatkuu mainoksen alla
Ei vertaisarvioinnista makseta. Jos maksettaisiin, niin eihän se sitten olisi puolueetonta.
Alue: Aihe vapaa
Olen sekä kirjoittanut että vertaisarvioinut kymmeniä tieteellisiä artikkeleita.
Elämäni aikana vastaan on tullut yksi (1) joka oli siinä mielessä huuhaata että sen sisältö ei pitänyt paikkaansa tai siinä väitettiin asioita ilman empiiristä tukea (eikä se silti ollut puhtaasti teoreettinen artikkeli). Sellaisia on todella vähän.
Sellaisia artikkeleja taas on tarjolla ihan kohtuullisesti, missä våitetään, että siinä saatu tutkimustulos on ihan uusi tai ainakin uudempi kuin se onkaan. Joko tutkija ei ole tiennyt jo olemassa olevasta tutkimuksesta (pätee erityisesti siihen, mitä Britit ja jenkit tietävät muunmaalaisesta ja muun kielisestä tutkimuksesta, mutta kukaanhan ei voi tietää KAIKESTA), tai ei ole katsonut sitä kovin samanlaiseksi. Näissä kohdissa yleensä huomautan asiasta ja jos tutkija on fiksu, hän kääntää asian edukseen ja selittää, miten hänen tutkimuksensa töydentää näitä edellisiä ja se lisää niiden kaikkien merkitystä, koska se osoittaa, että tulokset ovat merkittäviä ja toistettavissa. Mutta tämä jää tutkijan itsensä varaan ja aina kaikki tutkijat eivät osaa tehdä tätä. Silloin ne jäävät vähän puolinaisiksi esittämään olevansa jotain sellaista uutta luovaa, mitä eivät oikeasti ole.
Tosi harvoin, mutta noin yksi parista kymmenestä artikkelista on jotain todella uutta luovaa tai käänteen tekevää. Osan näistä tuleva tiede tulee vahvistamaan keskimmäisessä kappaleessa kuvaamallani tavalla - mutta vielä ei voi tietää, minkä osan. Se toinen osa jää merkityksettömäksi, ei siksi, ettei se ehkä olisi totta, vaan siksi, että sillä ei ole vaikutusta muihin tutkijoihin.