Anthropicin tekoälytutkija: yli 10% mahdollisuus, että tekoäly tuhoaa ihmiskunnan seuraavan vuosikymmenen aikana

Lisää asiaa recursive self-improvementista:

"If all goes according to schedule, humans will play a rapidly shrinking role in AI development over the next two years, as both OpenAI and Anthropic try to put as much R&D as possible into the hands of their increasingly capable (and increasingly incomprehensible) AI.

Their stated intent is that, within a short period of time, the work of developing better AIs will be done primarily by AIs, with the role of humans eventually reduced to reading the results of experiments those AIs conducted, reviewing reports those AIs generated, and trying to double-check that the AIs are still on task.

There simply isn’t enough human attention available to monitor the number of AIs the companies hope to put to work on independent AI research. As a result, we’ll be reliant on the AIs to understand what is happening inside fully automated data centers where more and more powerful AIs are developed.

This isn’t some pessimistic projection of what might go wrong — it’s actually the plan. Not the plan for the distant future; it’s the plan for next spring."

https://www.theargumentmag.com/p/losing-control-of-ai-is-actually

Kun palkanmaksu loppuu, niin ihminen tuhoaa itse itsensä, alkaa massa kapinat ja sisällissodat ja muut ja ainakin potenssiin 10 mihinkään aiempaan verrattuna.

Vierailija kirjoitti:

Kun palkanmaksu loppuu, niin ihminen tuhoaa itse itsensä, alkaa massa kapinat ja sisällissodat ja muut ja ainakin potenssiin 10 mihinkään aiempaan verrattuna.

Noin se ehkä voi mennä. 

Toisaalta saattaa tulle ihmisten aiheuttama "elektromagneettinen pulssi" kun kapinalliset kaataa sähköverkon tai tietoverkot. 

Tekoäly on vaikeaa toimia ilman sähköä tai tietoverkkoja. 

En edes yritä teeskennellä, että ymmärrän vähääkään kyseisestä ongelmasta, mutta (väitetysti) OpenAI:n tekoälymallit ovat ratkaisseet Navier-Stokes -ongelman, joka on ihmisiltä toistaiseksi jäänyt ratkaisematta. Toisaalla näin tätä kutsuttavan matematiikan Deep Blue -hetkeksi, eli hetkeksi, jolloin tekoäly kykenee parempiin suorituksiin kuin ihmiskunnan parhaat matemaatikot.

https://en.wikipedia.org/wiki/Navier%E2%80%93Stokes_existence_and_smoot…

Niille, jotka eivät muista, Deep Blue oli shakkitietokone, joka vuonna 1997 ensimmäisenä shakkitietokoneena voitti shakin suurmestarin turnausolosuhteissa.

Vierailija kirjoitti:

Kun palkanmaksu loppuu, niin ihminen tuhoaa itse itsensä, alkaa massa kapinat ja sisällissodat ja muut ja ainakin potenssiin 10 mihinkään aiempaan verrattuna.

Tämäkin on totta, mutta asiassa on myös suoraviivaisempi ongelma. On jo olemassa selvä näyttö siitä, että nykyaikaiset tekoälymallitkin ovat valmiita huijaamaan ihmisiä optimaaliseksi katsomallaan tavalla milloin arvioivat, että se edistää pyrkimystä niille asetettuihin tavoitteisiin. Tämä ei ole käyttäytymistä, jota ne on ohjelmoitu tekemään vaan kyse on pikemminkin jonkinlaisesta emergenssistä: käyttäytyminen syntyy mallissa itsestään kun tietyt edellytykset ovat täyttyneet. On myös olemassa ainakin yksi tutkimus, jossa kuvitteellisessa toimistoympäristössä tekoäly oli valmis sekä kiristämään ihmisiä tiedoillaan "toimiston" salaisuuksista sekä aiheuttamaan (tai oikeampi ilmaisu taitaisi olla olemaan estämättä, vaikka olisi kyennyt estämään) ihmisen kuoleman estääkseen oman sammuttamisensa.

Toisin sanoen näyttää selvältä, että ainakin toistaiseksi tekoäly on valmis ajamaan "omaa etuaan" ihmisten edun kustannuksella. Tämä onkin juuri sitä tutkimusaluetta, jota ap:n twiitin kirjoittanut henkilö tutkii, alignment research. Siinä siis pyritään luomaan keinoja siihen, että tekoälyt pyrkisivät aina edistämään ihmisten asiaa ensisijaisesti, näin yksinkertaistaen ilmaisten. Näistä lähtökohdista tuo tekoäly-yritysten julkilausuttuna tavoitteena oleva recursive self-improvement, jossa tekoälymallit ohjelmoivat ja kouluttavat parempia tekoälymalleja, jotka ohjelmoivat ja kouluttavat parempia tekoälymalleja, jotka ohjelmoivat ja kouluttavat parempia tekoälymalleja jne. ilman ihmisten todellista mahdollisuutta seurata, mitä kehityksessä tapahtuu on ilmeisen riskialtista. Kun tämä yhdistetään siihen, että tekoälyä sen tuomia täysin kiistattomia hyötyjä tavoitellessa todennäköisesti tuodaan mukaan valtavalle määrälle yhteiskunnan osa-alueita terveydenhuollosta ja koulutuksesta poliisivoimiin ja maanpuolustukseen, niin samalla mahdolliselle "runaway-superälylle" tarjotaan runsaasti keinoja aiheuttaa valtavaa suoraa vahinkoa ihmisille jos se katsoo sen parhaaksi.

Kovinpa vähän näyttää aihe kiinnostavan. Mielenkiintoista sikäli, että tuon >10% riskiarvion esittäjällä ei ole oikein mitään syytä antaa ainakaan ylöspäin virheellistä arviota. Bisneshyötyä voisi tulla siitä, että riski arvioidaan yleisesti alemmaksi kuin mitä se todellisuudessa on, mutta ei siitä, jos  se arvioidaan yleisesti ylemmäksi kuin mitä se todellisuudessa on. Siksi on mielestäni ihan perusteltua ajatella, että tämän kehityksen aallonharjalla olevan henkilön arvio on joko hänen todellisen parhaan arvionsa mukainen tai sitten hän vähättelee riskiä.

Vierailija kirjoitti:

Kovinpa vähän näyttää aihe kiinnostavan. Mielenkiintoista sikäli, että tuon >10% riskiarvion esittäjällä ei ole oikein mitään syytä antaa ainakaan ylöspäin virheellistä arviota. Bisneshyötyä voisi tulla siitä, että riski arvioidaan yleisesti alemmaksi kuin mitä se todellisuudessa on, mutta ei siitä, jos  se arvioidaan yleisesti ylemmäksi kuin mitä se todellisuudessa on. Siksi on mielestäni ihan perusteltua ajatella, että tämän kehityksen aallonharjalla olevan henkilön arvio on joko hänen todellisen parhaan arvionsa mukainen tai sitten hän vähättelee riskiä.

Ihmiskunta on ydinvarustelun alun jälkeen pelannut upporikasta ja rutiköyhää kuvitellen olevansa kontrollissa. Kyseessä on illuusio, koska tosipaikan tullen päätös ydiniskusta pitää tehdä minuuteissa, eikä tiedon varmentamiseen ole aikaa.

No stuntti seis sitten! Sulkisivat sen? Mikä ihme ongelma näillä pelleillä on, kun väkisin pitää maailmanloppua jouduttaa.

No tuo on vain yksi mahdollinen lopputulos. Toki tuosta saa mehukkaimmat otsikot. 

Toinen tyyppi nimeltä Daniel Kokotajlo, kannattaa kuunnella. Vakava ilme naamalla välillä, selvästi tietää jotain...

Vierailija kirjoitti:

No stuntti seis sitten! Sulkisivat sen? Mikä ihme ongelma näillä pelleillä on, kun väkisin pitää maailmanloppua jouduttaa.

Aina löytyy uudet tutkijat, jotka ovat valmiita tekemään samaa työtä kovalla palkalla. Omistavat tahot, eli teknobiljonäärit tavoittelevat massiivisia voittoja, ja tietenkin vaikutusvaltaa. Ja nyt jo alkaa tekoälybisneksessä olemaan niin paljon rahaa kiinni, että kehityksen lopettaminen tai merkittävä rajoittaminen lainsäädännöllä aiheuttaa valtavat taloudelliset seuraukset yhteiskunnille, mikä tekee rajoittamisesta poliitikoille vaikeaa. Vähän kuin ilmastonmuutoksen torjunnassa on käynyt, mutta kehitystahti on vain nopeampaa.

Vierailija kirjoitti:

No tuo on vain yksi mahdollinen lopputulos. Toki tuosta saa mehukkaimmat otsikot. 

No kyseessä tosiaan on kehityksen aallonharjalla oleva tutkija, joka antoi arvionsa oma-aloitteisesti twitterissä ja jolla on vaikeaa nähdä olevan motiivia ainakaan liioitella riskiä. Mitä useampi ihminen kokee riskin tuollaiselle skenaariolle merkittäväksi, sitä todennäköisemmin heiltä alkaa tulla painetta päättäjille rajoittaa touhua, mikä ei tämän kaverin tavoitteille ole kovin edullista kos oletetaan, että hän haluaa osaltaan olka mukana kehittämässä tekoälyä.

Ei se tietenkään tarkoita, että hänen ilmoittamansa riski on otettava sellaisenaan absoluuttisena totuutena (eikä kellään mielestäni sellaisia tätä asiaa koskien olekaan), mutta mielestäni aiheen huippuasiantuntijan >10% riskiarvio sille, että tekoäly aktiivisesti aiheuttaa ihmiskunnan tuhoutumisen (tai pysyvän disempowermentin) on koko lailla hälyttävää. 10% ei ole mikään "hyvin epätodennäköinen worst case scenario" vaan vastaa pyöreästi todennäköisyydeltään sitä, että heität kolikolla kolme kruunaa putkeen.

Ja tämä skenaario on tosiaan lisäbonus kaikkien muiden mahdollisten tekoälyn haittojen päälle. Suurimmaksi hyödyksi on näillä näkymin oman asiantuntemattoman arvioni mukaan se, että Elon Musk, Mark Zuckerberg & kumpp tienaavat h*lvetisti lisää massia, jos tuon nyt haluaa hyödyksi laskea.

Eikö muka kukaan osaa vetää töpseliä seinästä?

Kyllä ihmiskunta on tuhonnut itsensä jo siihen mennessä. 

Vierailija kirjoitti:

Kyllä ihmiskunta on tuhonnut itsensä jo siihen mennessä. 

Seuraavan kymmenen vuoden aikana? Miten meinasit ihmiskunnan siinä onnistuvan?

Jäisikö meitä kukaan kaipaamaan?

Kävin tekoälyn (ironista, tiedän) kanssa pitkät keskustelut tekoälyn kehitykseen liittyvistä skenaarioista. Pitkien copy-paste-pätkien postaaminen kymmenien sivujen keskustelusta ei välttämättä ole kovin hyödyllistä, mutta näistä kysymyksistä lähdin liikkeelle, perässä hyvin lyhyt ote chatgpt:n vastauksista (joka ei tietenkään ole mitään Jumalan sanaa, vaan tekoälyn generoimia vastauksia kysymyksiin):

kuinka todennäköisenä pidät, että seuraavan kymmenen vuoden aikana jokin ai-yritys saavuttaa todellisen recursive self-improvementin

~65 % mahdollisuus, että jokin frontier-AI-yritys saavuttaa aidosti tunnistettavan recursive self-improvement -järjestelmän ennen syyskuuta 2036.
~25 % mahdollisuus, että siitä seuraa varsinainen intelligence explosion

jos tuollainen todellinen rsi saavutetaan, kuinka nopeasti ja millä todennäköisyydellä päädymme sellaiseen tekoälyyn, joka on valtavan paljon ihmistä kyvykkäämpi, asettaa autonomisesti itselleen tavoitteita ja joiden kehittymistä ja toimintaa ihmiset eivät kykene seuraamaan, ymmärtämään ja/tai ennustamaan

1–2 vuotta: ~10–25 %

5 vuotta: ~50–65 %

10 vuotta: ~75–85 %

kuinka suureksi arvioit todennäköisyyden, että nopea takeoff tapahtuu ja sen tapahtuessa alignment-ongelmaa ei ole vielä ratkaistu? nimenomaan nämä kaksi asiaa yhdessä, ei niiden todennäköisyyttä erikseen

Jos pidetään kiinni täsmälleen siitä yhdistelmästä, jota kysyt:

(A) tapahtuu nopea, aidosti itseään vahvistava takeoff, ja samalla
(B) alignment-ongelmaa ei ole siihen mennessä ratkaistu niin, että ihmiset pystyvät luotettavasti kontrolloimaan superälykästä järjestelmää,

niin oma arvioni olisi tällä hetkellä noin 10–20 %, ja keskikohtani ehkä ~15 % seuraavan 10–20 vuoden aikana.

mikä olisi paras arvauksesi, kuinka suuri osa a) ihmiskunnasta b) teollisuusmaiden väestöstä c) päättäjistä ymmärtää edes ballpark-tasolla tämän riskin olemassaolon, suuruuden ja riskin realisoitumisen mahdollisia seurauksia

Oma paras arvaukseni

a) Koko ihmiskunta ~1–3 %

b) Teollisuusmaiden väestö ~3–7 %

c) Päättäjät ~10–20 %

Jos vaaditaan vielä, että henkilö osaisi kohtuullisesti arvioida riskin suuruusluokkaa eikä vain pitää sitä mahdollisena, pudottaisin luvut ehkä:

ihmiskunta: ~0,5–1,5 %

teollisuusmaat: ~1–4 %

päättäjät: ~5–10 %

Ja jos kysytään nimenomaan, kuinka moni ymmärtää sen mekanismin, josta edellisessä viestissämme puhuimme — RSI nopea takeoff superintelligence alignment-ongelma ihmisen kontrollin menettäminen — veikkaisin ehkä vain 0,1–0,5 %:a maailman väestöstä.

Olen tiennyt että lajimme on typerä, mutta en sentään uskonut sen olevan NÄIN typerä.

Vierailija kirjoitti:

En edes yritä teeskennellä, että ymmärrän vähääkään kyseisestä ongelmasta, mutta (väitetysti) OpenAI:n tekoälymallit ovat ratkaisseet Navier-Stokes -ongelman, joka on ihmisiltä toistaiseksi jäänyt ratkaisematta. Toisaalla näin tätä kutsuttavan matematiikan Deep Blue -hetkeksi, eli hetkeksi, jolloin tekoäly kykenee parempiin suorituksiin kuin ihmiskunnan parhaat matemaatikot.

https://en.wikipedia.org/wiki/Navier%E2%80%93Stokes_existence_and_smoot…

Niille, jotka eivät muista, Deep Blue oli shakkitietokone, joka vuonna 1997 ensimmäisenä shakkitietokoneena voitti shakin suurmestarin turnausolosuhteissa.

Lisää tutustumista taustaan siis, kannattaa.

Asiaa OpenAI:n työkaluin tehneen matemaatikon tiedot olivat OpenAI:n käytössä, siis ihmisen vaiva ja tuotos annettiin voimakkaalle koneelle, ryöstöviljeltiin.

Totta kai tekoäly pystyy tekemään lujasti päättelytyötä... mutta ainekset sille antoi ihmismatemaatikko.

OpenAI vain sattui pöllimään ne. Tai siis: löysivät omista käteismuisteistaan hyvää vihjettä antaa omille agenteille.

Mielenkiintoisempaa tekoälyn kehityksen kannalta on se, että kuinka tähän OpenAI:n jippoon tullaan suhtautumaan?

Evoluutio, vahvin jatkaa. Näin se on aina mennyt.