Nyt IT-nörtit kertokaa: miten tekoäly muistaa asiat keskustelussa?

etkö avaa uudelle aiheelle uutta keskustelua? Onko sulla maksullinen versio? Kyllä työpaikan ilmainen unohtaa kaiken kun aloittaa uuden keskustelun. 

Kysy siltä mikä on "context window" Käytä englantia

Tekoälyn kyky muistaa keskustelua ei oikeastaan perustu muistamiseen siinä merkityksessä kuin ihminen sen kokee, vaan kontekstuaaliseen tilavektoreiden jatkuvaan uudelleenlaskentaan, jossa aiemmat tekstisyötteet sisällytetään mallin syöteavaruuteen rajallisen konteksti-ikkunan puitteissa. Käytännössä koko keskustelu - tai ainakin se osa, joka mahtuu kulloinkin aktiiviseen kontekstirajaukseen - esitetään mallille yhtenä pitkänä merkkijonona, joka tokenisoidaan diskreeteiksi yksiköiksi. Näiden yksiköiden väliset suhteet projisoidaan korkeaulotteiseen representaatioavaruuteen.

Transformer-arkkitehtuurissa tämä tapahtuu itsehuomio- eli self-attention-mekanismin kautta. Jokainen token saa dynaamisesti painotetun suhteen kaikkiin muihin tokeneihin kontekstissa. Tämä tarkoittaa, että kun malli viittaa aiemmin sanottuun, se ei hae sitä muistivarastosta, vaan rekonstruoi sen merkityksen laskemalla uudelleen painotuksia suhteessa nykyiseen syötteeseen. Prosessi ei ole ajallinen ketju, jossa tila siirtyisi eksplisiittisesti vaiheesta toiseen, vaan jokainen vastaus generoituihin todennäköisyysjakaumiin perustuvana jatkeena koko siihenastiselle tekstille.

Lisäksi mallin koulutusvaiheessa oppima tilastollinen rakenne vaikuttaa siihen, miten se priorisoi keskustelun eri osia. Kun käyttäjä esittää jatkokysymyksen, mallin sisäinen tilavektori ei sisällä muistoa edellisestä vastauksesta sellaisenaan, vaan tiivistetyn, matemaattisesti pakatun esityksen aiemmasta kontekstista. Tämä pakkaus ei ole eksplisiittinen yhteenvedon kaltainen rakenne, vaan emergentti seuraus lineaarisista projisoinneista, pehmeistä maksimointifunktioista ja kerroksittaisista muunnoksista.

Jos keskustelu pitkittyy yli konteksti-ikkunan, varhaisimmat osat eivät enää ole suoraan mukana laskennassa. Tällöin mahdollinen viittaus niihin perustuu joko aiemmin syntyneisiin tiivistyksiin tai erilliseen järjestelmätason muistimekanismiin, jossa keskustelusta muodostetaan metatasoinen yhteenveto, joka syötetään takaisin mallille uutena tekstinä. Tässäkin tapauksessa malli käsittelee muistin tekstimuotoisena syötteenä, ei erillisenä muistirakenteena.

Näin ollen tekoälyn keskustelumuisti on enemmänkin jatkuvaa kontekstin uudelleenparametrisointia kuin pysyvää säilyttämistä. Jokainen vastaus syntyy todennäköisyysperusteisesti seuraavana tokenina aiemman tekstin jatkeena. Se, että vastaus vaikuttaa viittaavan aiempiin vaiheisiin, on seurausta siitä, että nuo vaiheet ovat edelleen osa syötettä ja vaikuttavat laskennallisesti seuraavien tokenien jakaumaan, ei siitä, että järjestelmä olisi muodostanut sisäisen narratiivisen mallin keskustelun historiasta.

Vierailija kirjoitti:

Tekoälyn kyky muistaa keskustelua ei oikeastaan perustu muistamiseen siinä merkityksessä kuin ihminen sen kokee, vaan kontekstuaaliseen tilavektoreiden jatkuvaan uudelleenlaskentaan, jossa aiemmat tekstisyötteet sisällytetään mallin syöteavaruuteen rajallisen konteksti-ikkunan puitteissa. Käytännössä koko keskustelu - tai ainakin se osa, joka mahtuu kulloinkin aktiiviseen kontekstirajaukseen - esitetään mallille yhtenä pitkänä merkkijonona, joka tokenisoidaan diskreeteiksi yksiköiksi. Näiden yksiköiden väliset suhteet projisoidaan korkeaulotteiseen representaatioavaruuteen.

Transformer-arkkitehtuurissa tämä tapahtuu itsehuomio- eli self-attention-mekanismin kautta. Jokainen token saa dynaamisesti painotetun suhteen kaikkiin muihin tokeneihin kontekstissa. Tämä tarkoittaa, että kun malli viittaa aiemmin sanottuun, se ei hae sitä muistivarastosta, vaan rekonstruoi sen merkityksen laskemalla uudelleen painotuksia suhteessa nykyiseen syötteeseen. Proses

Oisko kivaa, jos kaikki vaan hakisi viestinsä tekoälyltä? Joka keskustelu täynnä tätä tekstiseinää.