Onko Hesarin kynäilypalstalla tekoälystä väitetty totta: LM käytännössä todennäköisyyslaskee ja arpoo sanoja peräkkäin?

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Kielimalliin perustuva tekoäly on juurikin tuota. Sanojen arpomista todennäköisyyden perusteella toistensa jatkoksi ennalta opittujen mallien mukaan. Vähän samaan tyyliin sinäkin tekstiä kyselyaukostasi tai näppäimistöstäsi suollat.

Täysin perätön väite että ihmisäly toimisi samoin.

Ihminen pystyy myös oivaltamaan, ja luomaan jotain kokonaan uutta. 

Ja ennen kaikkea ihmisellä on huumorintaju. Siis ainakin useimmilla miehillä on. 

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Kielimalliin perustuva tekoäly on juurikin tuota. Sanojen arpomista todennäköisyyden perusteella toistensa jatkoksi ennalta opittujen mallien mukaan. Vähän samaan tyyliin sinäkin tekstiä kyselyaukostasi tai näppäimistöstäsi suollat.

Täysin perätön väite että ihmisäly toimisi samoin.

Ihminen pystyy myös oivaltamaan, ja luomaan jotain kokonaan uutta. 

Ihmisälyn toiminnan perusteita ei tunneta kuten ei sitäkään miksi LLM:t toimivat niinkin hyvin kuin toimivat. Molemmat ovat vielä mustia laatikoita siinä suhteessa. Ts. ihminen ei välttämättä ole sen luovempi tai oivaltavampi. Se toki tiedetään ettei LLM kykene loogiseen päättelyyn eikä matematiikkaan ellei sitä löydy opetusaineistosta. Lisäksi LLM ei opi reaaliaikaisesti vaan se opetetaan opetusaineistolla.

Mietin vaan sitäkin, että kun tekoäly on ainakin väitetysti ratkaissut matemaattisia pulmia, joita ihminen ei ole kyennyt ratkaisemaan eikä edes ymmärtämään niitä ratkaisuja eikä etenkään sitä, miten tekoäly on niihin päätynyt, niin mistä tiedämme, ovatko ne edes oikein? 

Onko muita kuin kielimalleihin perustuvia tekoälyjä keksitty? Miten ne toimivat ja mitä ne syövät aineistonaan?

Eikö kukaan muu ole ihmetellyt sitä, että joka tuutista toitotetaan AI sitä, tekoäly tätä, mutta kukaan ei tunnu ymmärtävän kunnolla, miten koko tekoäly toimii ja mihin se perustuu?

up

Tilanne oli tämä, eli suora tekstin generointi todennäköisyyksien pohjalta. Uusimmat kehittyneimmät mallit eivät enää toimi samalla tavalla vaan ne osaavat "ajatella sisäisesti", hakea tietoa, testata hypoteeseja ja arvioida omaa vastaustaan, myös hylätä sen ja kokeilla jotain muuta. Eli toisin kuin alussa, nykyään tekoäly "ajattelee". Siksi esimerkiksi virheiden määrä on vähentynyt.

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Kielimalliin perustuva tekoäly on juurikin tuota. Sanojen arpomista todennäköisyyden perusteella toistensa jatkoksi ennalta opittujen mallien mukaan. Vähän samaan tyyliin sinäkin tekstiä kyselyaukostasi tai näppäimistöstäsi suollat.

Täysin perätön väite että ihmisäly toimisi samoin.

Ihminen pystyy myös oivaltamaan, ja luomaan jotain kokonaan uutta. 

Ihmisälyn toiminnan perusteita ei tunneta kuten ei sitäkään miksi LLM:t toimivat niinkin hyvin kuin toimivat. Molemmat ovat vielä mustia laatikoita siinä suhteessa. Ts. ihminen ei välttämättä ole sen luovempi tai oivaltavampi. Se toki tiedetään ettei LLM kykene loogiseen päättelyyn eikä matematiikkaan ellei sitä löydy opetusaineistosta. Lisäksi LLM ei opi reaaliaikaisesti vaan se opetetaan opetusaineistolla.

Mietin vaan sitäkin, että kun tekoäly on ainakin väitetysti ratkaissut matemaattisia pulmia, joita ihminen ei ole kyennyt ratkaisemaan eikä edes ymmärtämään niitä ratkaisuja eikä etenkään sitä, miten tekoäly on niihin päätynyt, niin mistä tiedämme, ovatko ne edes oikein? 

Se on matemaatikoiden tehtävä pyrkiä ne todistukset tarkistamaan ja validoimaan. Ei tekoälyn tuottama todistus ole minkään arvoinen ennenkuin se on voitu riippumattomasti validoida. 

Vierailija kirjoitti:

Tilanne oli tämä, eli suora tekstin generointi todennäköisyyksien pohjalta. Uusimmat kehittyneimmät mallit eivät enää toimi samalla tavalla vaan ne osaavat "ajatella sisäisesti", hakea tietoa, testata hypoteeseja ja arvioida omaa vastaustaan, myös hylätä sen ja kokeilla jotain muuta. Eli toisin kuin alussa, nykyään tekoäly "ajattelee". Siksi esimerkiksi virheiden määrä on vähentynyt.

Ei ajattele. Se että tekoäly osaa hakea lisää tavaraa kontekstiin ei muuta sen perimmäistä toimintalogiikkaa.

Vierailija kirjoitti:

Tilanne oli tämä, eli suora tekstin generointi todennäköisyyksien pohjalta. Uusimmat kehittyneimmät mallit eivät enää toimi samalla tavalla vaan ne osaavat "ajatella sisäisesti", hakea tietoa, testata hypoteeseja ja arvioida omaa vastaustaan, myös hylätä sen ja kokeilla jotain muuta. Eli toisin kuin alussa, nykyään tekoäly "ajattelee". Siksi esimerkiksi virheiden määrä on vähentynyt.

Miten ja mihin perustuen ne "ajattelevat sisäisesti"? 

Jos ottaa tällaisen sisäisesti ajattelevan tekoälyn eikä lataa siihen ihmisen tuottamaa tietoa, kysyy siltä jotain, niin mitä se vastaa?

Onko tekoälyn tuottama tieto uutta vai vanhan tiedon yhdistelyä?

Tähän ei ole yksiselitteistä vastausta. Uuden tiedon syntymistä voi tarkastella kolmella tasolla:

Taso                                     Mitä tapahtuu?

1. Tiedon toistaminen         Tekoäly palauttaa oppimaansa tietoa.

2. Uusi yhdistely                 Tekoäly yhdistää aiempia tietoja tavalla, jota ihminen ei ole esittänyt.

3. Uusi löytö                       Tekoäly tuottaa hypoteesin tai ratkaisun, joka voidaan todentaa ja joka laajentaa tietämystämme.

Kolmas taso on jo todellisuutta.

Vierailija kirjoitti:

Onko muita kuin kielimalleihin perustuvia tekoälyjä keksitty? Miten ne toimivat ja mitä ne syövät aineistonaan?

 

Eikö kukaan muu ole ihmetellyt sitä, että joka tuutista toitotetaan AI sitä, tekoäly tätä, mutta kukaan ei tunnu ymmärtävän kunnolla, miten koko tekoäly toimii ja mihin se perustuu?

On keksitty ja niitä on ollut käytössä pitkään ennen kielimallien olemassaoloa. Niille on tyypillistä että ne ovat spesifisiä ratkaisuja tietylle ongelma-alueelle. Esimerkkinä Kasparovin voittanut Deep Blue tai tuoreemmat ML-ratkaisut.