ChatGPT on lööperiä lasketteleva ääliö! M.O.T.
ChatGPT:hen on lisätty äskettäin ominaisuus, jossa tuolle tekoälysivulle (chatgpt.com) voi nyt upata esim. kuvan tai asiakirjan, joihin liittyen voi sitten kysyä asioita tekoälyltä. Mutta mutta...
Testasin äsken tuota tekoälyn uutta ominaisuutta ottamalla valokuvan eräästä N-liiton hajoamisen jälkeisinä aikoina Venäjällä eräässä nyrkkipajatyylisessä pikkufirmassa valmistetusta sähkölaitteesta ja uppaamalla kuvan ChatGPT:lle. Laitteen etupaneelissa on laitteen länsimaistyyppinen geneerinen nimi selvästi näkyvissä, kuitenkin siten, että firman logo ja nimiteksti on sijoiteltu päällekkäin niin, että käytännössä vain ihminen tajuaa mikä se nimi on, koska se logo täysin sekoittuu nimitekstiin taiteellisen ratkaisunsa ansiosta. Ts. logo sattumalta toimii käytännössä kuin ns. CAPTCHA (verkkosivustoilla käytettävä turvamekanismi, joka erottaa ihmiset ja automaattiset ohjelmat (botit) toisistaan).
Ja yllätys, yllätys, tekoäly joka ei siis pystynyt ratkaisemaan laitteen etupaneelin kuvasta tuota eräänlaista captcha-pulmaa, tulkitsi saamastaan valokuvasta mm. tuotteen tai sen valmistajan nimen täysin väärin ja ryhtyi välittömästi antamaan täysin paikkansapitämätöntä tietoa kuvassa olevasta laitteesta. Eikä siinä olisi ollut vielä sinänsä mitään ihmeellistä, mutta ChatGPT, sen sijaan että olisi tunnustanut, että ei pysty edes tunnistamaan tai lukemaan laitten etupaneelista tuotteen nimeä ja logoa lainkaan, eikä niin ollen pysty tietämään laitteesta kertakaikkiaan yhtään mitään, keksikin laitteelle täysin mielikuvituksellisen SUOMALAISEN valmistajan ja etymologian, ja väitti että laite on mukamas valmistettu Suomessa 80-90-lukujen taitteessa, väittäen myös tuotteen valmistajan olleen tunnettu äänentoistoalan laitteistaan.
Kerroin sitten ChatGPT:lle, että en ole koskaan tuon nimistä yritystä kuullut Suomessa olevankaan, eikä esim. Googlen haulla löydy tuon nimisestä yrityksestä yhtään mitään hakutuloksia tai tietoa. Kysyin, että millä paikkakunnalla tuo firma on mukamas vaikuttanut jne., ja lisäksi kerroin, että hupaisaa kyllä, tiedän varmuudella laitteen olevan IVY:n aikana ilmeisesti Pietarin seudulla valmistetun, ja että mielestäni vaikuttaa siltä että ChatGPT lasketteli minulle täyttä pajunköyttä täysin pokkana, vaikka mitään käryä itse tuotteesta ei sillä ollut.
No, tekoäly joutuikin sitten tunnustamaan puhuneensa täyttä soopaa sanoen mm. että "Pahoittelen virheitäni ja väärää tietoa jonka annoin aiemmin." jne.
Joten ChatGPT on (edelleenkin) jotakuinkin kuin joku valehteleva, "tiedoillaan" rehvasteleva kapakkaurpo. Se ei todistettavasti siis pysty edelleenkään tunnustamaan, että ei todellisuudessa tiedä jostain asiasta yhtään mitään, vaan mieluummin alkaa päteä ja keksiä omasta "päästään" täysin mielikuvituksellisia satuja ja tarinoita joilla ei ole mitään tekemistä todellisuuden kanssa.
Tuo on todella outoa ja samalla huolestuttavaa, jos ihmiset ja jopa organisaatiot luottavat tekoälyn suoltamaan paikkansapitämättömään dataan (kuten on jo käynytkin mm. Norjassa), vaikka se on täysin hihasta ravistettua lööperiä, jolla ei ole yhtään mitään tekemistä todellisuuden kanssa.
En tiedä pitäisikö itkeä vai nauraa. Oma vinkkini on: Pysykää kaukana siitä BS-lingosta nimeltä ChatGPT!
Kommentit (25)
Ongelma olet sinä, ei tekoäly.
Kaikki riippuu promptista. Jos et osaa niin et osaa.
Vierailija kirjoitti:
Ongelma olet sinä, ei tekoäly.
Kaikki riippuu promptista. Jos et osaa niin et osaa.
Mistä -tun promptista?
ChatGPT:lle vain upattiin valokuva, ja pyydettiin tekoälyä kertomaan kuvan perusteella laitetiedot.
Kaikki tekoälyn antamat tiedot liittyen laitteen valmistajaan olivat kuitenkin täyttä satua.
Vierailija kirjoitti:
no mikä oli se ongelma? mitä oikein piipität?
Lue se postaus.
Yritykset pääosin eivät tuherra jollain ChatGPT:llä vaan niillä on voimakkaampia malleja käytössä. Lisäksi tekoäly on muutakin kuin näitä chattibotteja.
Tietämättä mistään mitään tekoäly tietää silti enemmän kuin 99 % tavan tallaajista. Sehän siinä on hauskinta.
Norjassa trond-einarit luottivat sokeasti tekoälyyn. Ja huonostihan siinä kävi:
"Norjalaiskunta mokasi raskaasti Voi olla pahin poliittinen skandaali tällä vuosikymmenellä"
"Tromssan kunnan kouluverkkoselvityksestä on kehkeytynyt tekoälysoppa, joka puhuttaa läpi valtakunnan."
https://www.iltalehti.fi/digiuutiset/a/bd753b99-ecd8-4b4b-aac3-85502ab1…
Ymmärrän turhautumisesi, Juha. Se mitä kuvaat on ihan aito ongelma nykymalleissa: kun malli ei tiedä, se voi silti vastata vakuuttavasti. Kuvista lukeminen on sille erityisen hankalaa, jos logo sekoittuu tekstiin tai asettelu on tarkoituksella huono luettavaksi. Se on käytännössä kuin kevyt CAPTCHA. Silloin malli saattaa arvailla nimen ja rakentaa sen varaan tarinan, vaikka pitäisi sanoa en tiedä.
Miksi näin käy lyhyesti
* Kuvan teksti ei aina ole koneelle luettavaa. Logot, päällekkäin menevät kirjaimet ja kohina sotkevat OCR:n.
* Mallit on opetettu olemaan avuliaita. Ilman selkeää kieltoa olla arvaamatta ne täyttävät aukot todennäköisellä arvauksella.
* Jos lähteitä ei haeta erikseen, vastaus perustuu pelkkään mallin muistamaan yleistietoon. Niche-laitteissa se menee helposti metsään.
Mitä tälle voi tehdä käytännössä
1. Pyydä ensin pelkkä transkriptio
* Kirjoita näkyvä teksti täsmälleen sellaisena kuin kuvassa. Jos et saa selvää, sano en saa selvää.
2. Kieltä arvaaminen eksplisiittisesti
* Älä arvaa valmistajaa tai mallia. Jos varmuus < 85 %, vastaa en tiedä.
3. Pakota erottamaan fakta ja arvaus
* Erota osioihin: Faktaa kuvasta - Epävarmaa - Arvausta ei sallita.
4. Vaadi lähteet tai sano ettei ole
* Listaa linkkilähteet. Jos lähteitä ei ole, älä väitä varmana.
5. Rakenna vastausmuoto valmiiksi
* Selkeä runko vähentää tarinointia ja tekee virheet näkyviksi.
6. Jos tunnistus on tärkeä, käytä kunnollista OCR:ää tai asiantuntijayhteisöä
* Esim. pyydä myös rajattu lähikuva etupaneelin tekstistä ja taustapuolen tyyppikilvestä.
Kopioi-käytä -promptti kuvantunnistukseen
```
Tehtävä: Arvioi kuva laitteesta varovaisesti.
Toimi näin:
1) Näkyvä teksti: kirjoita kuvassa luettava teksti täsmälleen. Merkitse epäselvät kohdat hakasulkeilla.
2) Faktaa kuvasta: listaa vain havainnot, ei tulkintoja.
3) Varmuus: kerro luottamusprosentti kuhunkin havaintoon.
4) Mahdolliset valmistajat/mallit: listaa enintään 3 vaihtoehtoa, jos ja vain jos on konkreettisia perusteita. Jos ei ole, kirjoita tuntematon.
5) Lähteet: linkkaa jokaiselle väitteelle lähde tai kirjoita ei lähdettä.
6) Seuraavat askeleet varmistukseen: 3 konkreettista tapaa (esim. sarjanumerin haku, komponenttien tunnistus, parempi rajauskuva).
Älä arvaa. Jos et tiedä, kirjoita en tiedä.
```
Valmis vastaus, jonka voit postata ketjuun
Lyhyt versio:
> Yksi syy miksi ChatGPT meni tuossa pieleen on, että kuvassa logo ja teksti sekoittuivat tavalla, jota malli ei pysty luotettavasti lukemaan. Kun se ei tunnista tekstiä, se helposti arvaa valmistajan ja rakentaa sen päälle tarinan. Tätä voi vähentää pyytämällä ensin pelkän kuvan tekstin tarkan transkription ja kieltämällä arvaamisen kokonaan. Ilman lähteitä niche-laitteista saadut faktat kannattaa aina tarkistaa muualta.
Mä olen antanut ChatGPT:lle pohjatietoja asiasta, josta halusin kysyä tarkemmin.
Vastauksessaan tekoäly ei huomioi jo antamaani infoa, vaan vänkää moneen kertaan jotain ihan muuta, täysin virheellistä "tietoa".
Kun huomautan virheestä, se pyytää anteeksi ja yrittää uudelleen.
Ei onnistu vieläkään. Alkaa taas jauhaa samaa disinformaatiota.
Vierailija kirjoitti:
Ongelma olet sinä, ei tekoäly.
Kaikki riippuu promptista. Jos et osaa niin et osaa.
Tuon tsätti-bkt firman sami aaltonen maksaisi varmaan miljardin taalan sellaisesta promptista mikä ei harhaile.
Vierailija kirjoitti:
Koeta pärjäillä.
Viksuppärjää aina.
Vierailija kirjoitti:
Ymmärrän turhautumisesi, Juha. Se mitä kuvaat on ihan aito ongelma nykymalleissa: kun malli ei tiedä, se voi silti vastata vakuuttavasti. Kuvista lukeminen on sille erityisen hankalaa, jos logo sekoittuu tekstiin tai asettelu on tarkoituksella huono luettavaksi. Se on käytännössä kuin kevyt CAPTCHA. Silloin malli saattaa arvailla nimen ja rakentaa sen varaan tarinan, vaikka pitäisi sanoa en tiedä.
Miksi näin käy lyhyesti
* Kuvan teksti ei aina ole koneelle luettavaa. Logot, päällekkäin menevät kirjaimet ja kohina sotkevat OCR:n.
* Mallit on opetettu olemaan avuliaita. Ilman selkeää kieltoa olla arvaamatta ne täyttävät aukot todennäköisellä arvauksella.
* Jos lähteitä ei haeta erikseen, vastaus perustuu pelkkään mallin muistamaan yleistietoon. Niche-laitteissa se menee helposti metsään.
Mitä tälle voi tehdä käytännössä
1. Pyydä ensin pelkkä transkriptio
* Kirjoita
Juuri tuo oman, keksityn tarinan rakentaminen on ChatGpt:n kompastus!
Kun ei tiedä, pitää sanoa ettei tiedä. Ei tarvi, EI SAA syöttää skeidaa.
Vierailija kirjoitti:
no mikä oli se ongelma? mitä oikein piipität?
Maailman suurin ongelma on kaltaisesi luonnevikaiset m u l k u t.
Syö paskaa.
Ei se osaa lööperiä lasketella ollenkaan. Kaikki mitä tuottaa olettaa olevan faktaperusteista, mutta sillä virheellistä dataa.
Kokeilin kerran ja kysyin kysymyksiä Yhteenkään ei tullut kunnon vastausta, vaan antoi saman mitä google ensimmäisellä hakusivullaan. Ongelma tulee tässä kohtaa siitä että 80% googlen hakujen tuloksista etusivullla on maksettuja tuloksia. Tekoäly oli siis yhtä huono kuin googlen haku mutta summasi tuloksen ilman minkäänlaista lähdekritiikkiä. Ei jatkoon, mitä hiton järkeä on käyttää valtavat määrät sähköä kun tulos on nolla?
Sen takia kysyt seuraavaksi nasse-setä grokilta, mitä se chatgdp valehteli. Sen jälkeen kysyt geminiltä mitä grokki sanou väärin.
Extreme ultrapro versiot jokaiselta tietenkin.
Vierailija kirjoitti:
Vierailija kirjoitti:
Ongelma olet sinä, ei tekoäly.
Kaikki riippuu promptista. Jos et osaa niin et osaa.
Mistä -tun promptista?
ChatGPT:lle vain upattiin valokuva, ja pyydettiin tekoälyä kertomaan kuvan perusteella laitetiedot.
Kaikki tekoälyn antamat tiedot liittyen laitteen valmistajaan olivat kuitenkin täyttä satua.
Ts. tekoäly ensin lukee kuvasta laitteen nimen väärin kyseenalaistamatta lukemaansa. Sen jälkeen tekoäly (ilman edes minkäänlaista googlettamista, koska pelkästään google-haku tuolla firman nimellä olisi jo paljastanut, että sen nimistä firmaa ei ole koskaan Suomessa ollut, eikä sen nimisiä tuotteita ole koskaan ollut myynnissä missään) keksii omasta päästään, että (väärin luetulla) nimellä on mukamas valmistettu Suomessa tuotteita, ja että tuo suomalaisvalmistaja on tunnettu erityisesti äänentoistolaitteistaan.
Mikä järki tuollaisella tekoälypalvelulla muka on, jos se ei pysty edes googlettamaan, ja toteamaan että mitään sen varsin vammaisen mielikuvituksen tuottamassa vastauksessa ilmoitettua yritystä ei ole koskaan ollut olemassakaan? No ei mitään järkeä.
Miksi edes puhutaan tekoälystä kun sillä ei ole juuri sen älyn kanssa yhtään mitään tekemistä.
Vierailija kirjoitti:
Mä olen antanut ChatGPT:lle pohjatietoja asiasta, josta halusin kysyä tarkemmin.
Vastauksessaan tekoäly ei huomioi jo antamaani infoa, vaan vänkää moneen kertaan jotain ihan muuta, täysin virheellistä "tietoa".
Kun huomautan virheestä, se pyytää anteeksi ja yrittää uudelleen.
Ei onnistu vieläkään. Alkaa taas jauhaa samaa disinformaatiota.
Tuttu juttu.
Itselläni on joskus kolme vuotta sitten saamani Google NestHub -laite, joka on kaiuttimellinen pienehkö verkkook kytketty näyttölaite jota ohjataan lähinnä puheella, ja jolla voi myös ohjata hubiin liitettyjä muita "äly"laitteita kuten valaistusta tms.
Ongelmana on ensinnäkin tietenkin se, että Googlen assistant ei edelleenkään osaa Suomea. Mutta suurin ongelma on se täysin turhauttava seikka että laite kuulee kuulemansa sanat toistuvasti väärin eikä mitään keinoa opettaa sitä, tai korjata tai oikaista sen kuulemaa sanaa ole, eikä se opi itse mitään tekemistään virheistä kuulemisessaan. Laitteeseen on tullut päivityksiä mutta ne eivät ole korjanneet mitään noista pahimmista perustavaalaatua olevista ongelmista kuten juuri siitä että siitä puuttuu TÄYSIN juuri se äly ja kyky oppia, ja kyky varsin sujuvaan välittömään vuorovaikutukseen, joka on olemassa esim. lähes kaikilla eläimillä.
Esimerkki: Kehotan puheella laitetta toistamaan Anderton Music -nimisen Youtubekanavan uusimman videon. No, laite kuulee sanan Anderton joka ikinen kerta joko muodossa Anderson tai Undertones ja alkaa heti mitään kyselemättä muitta mutkitta näyttää täysin väärää sisältöä. Eikä käsky mene koskaan oikein. Eikä se opi, vaikka se kanava löytyisi lopulta mutta tosin vain tavaamalla se nimi, mikä sekin on lähes mahdotonta koska laite ei malta edes kuunnella tavaamista loppuun vaan alkaa kesken kaiken haun sanalla and tai ander tms. Laite ei koskaan kysy oliko sen tulkinta kuulemastaan oikein vaan aina automaattisesti olettaa väärin kuulemansa sanan olevan oikein. Tuollaisen tyhmääkin tyhmemmän älylaitteen käyttäminen on äärimmäisen turhauttavaa ja jokainen normaali ihminen tuntee välitöntä halua viskata laite päin seinää pirstaleiksi.
Kumma juttu, mutta tekoäly- ja teknologiafirmat palkkaavat edelleen isolla rahalla ihmisiä hoitamaan sellaisiakin asioita, joiden mainostetaan hoituvan tekoälyn avulla.
no mikä oli se ongelma? mitä oikein piipität?