Anthropicin tekoälytutkija: yli 10% mahdollisuus, että tekoäly tuhoaa ihmiskunnan seuraavan vuosikymmenen aikana

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Evoluutio, vahvin jatkaa. Näin se on aina mennyt.

Noin se ei ole koskaan mennyt. Erään biologin sanoin: "Evolution isn't the survival of the fittest, it's the reproduction of the okay-est."

Kun olosuhteet helpottuu, evoluutio alkaa luoda enemmän keskinkertaista populaatiota.

Ihmiskunta on tässä tilanteessa. Enemmän lisääntyvä korvaa laadukkaammin lisääntyvän.

Missään lajissa eivät lisäänny vain huippuyksilöt, se oli lausahduksen pointti, ei edes niissä lajeissa, jossa lauman "johtava uros" hoitaa kaiken siittämisen (koska naaraita on kuitenkin moneen lähtöön). Useimmilla lajeilla suurin osa lisääntymisikään asti selvinneistä lisääntyy, ja tämä on valtavan paljon suurempi joukko kuin "geneettiset valiot". Jos katsotaan vaikka vastustuskykyä taudeille, niin sekään ei ole pelkkää lineaarista matematiikkaa, vaan esimerkiksi sairastuminen silloin, kun ruokaa on saatavilla vähän saattaa olla "valioyksilölle" kohtalokasta, kun taas sairastuminen silloin, kun ruokaa on saatavilla reilusti ei välttämättä ole kohtalokasta "vähemmän valioyksilölle", ja silloin "vähemmän valioyksilö" selviää ja saa läpi käydystä sairastumisesta immuniteettia tulevia sairastumisia vastaan.

Siinä, mitä ihmiskunnassa tällä hetkellä tapahtuu on vaikeaa erotella, mikä on osa hyvin luonnollista prosessia ja mikä kuuluu enemmän kulttuurievoluution piiriin, koska ihmisen luoma ympäristö itsessään on niin läpeensä "luonnoton" (ja käytän tätä ilmaisua täysin ilman minkäänlaisia moraalisia arvostelmia).

Mitä tekoäly voi tehdä jos ottaa töpsylän pois seinästä? Vai kuvitteleeko nämä että tekoäly rakentaa tehtaan ja tekee jotain sotarobotteja, jotka estää töpsylän irrottamisen seinästä? On nämä sekaisin kuin rokote-5g-valvontasiru hörhöt. Ei pelota.

Vierailija kirjoitti:

Evoluutio, vahvin jatkaa. Näin se on aina mennyt.

Vahvin on arvolatautunut sana. Olosuhteisiin sopivuus, määrä ja muu sattuma ratkaisee, paitsi taistelussa viimeisestä leipäpalasta.

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

Vierailija kirjoitti:

En edes yritä teeskennellä, että ymmärrän vähääkään kyseisestä ongelmasta, mutta (väitetysti) OpenAI:n tekoälymallit ovat ratkaisseet Navier-Stokes -ongelman, joka on ihmisiltä toistaiseksi jäänyt ratkaisematta. Toisaalla näin tätä kutsuttavan matematiikan Deep Blue -hetkeksi, eli hetkeksi, jolloin tekoäly kykenee parempiin suorituksiin kuin ihmiskunnan parhaat matemaatikot.

https://en.wikipedia.org/wiki/Navier%E2%80%93Stokes_existence_and_smoot…

Niille, jotka eivät muista, Deep Blue oli shakkitietokone, joka vuonna 1997 ensimmäisenä shakkitietokoneena voitti shakin suurmestarin turnausolosuhteissa.

Lisää tutustumista taustaan siis, kannattaa.

Asiaa OpenAI:n työkaluin tehneen matemaatikon tiedot olivat OpenAI:n käytössä, siis ihmisen vaiva ja tuotos annettiin voimakkaalle koneelle, ryöstöviljeltiin.

Totta kai tekoäly pystyy tekemään lujasti päättelytyötä... mutta ainekset sille antoi ihmismatemaatikko.

OpenAI vain sattui pöllimään ne. Tai siis: löysivät omista käteismuisteistaan hyvää vihjettä antaa omille agenteille.

Mielenkiintoisempaa tekoälyn kehityksen kannalta on se, että kuinka tähän OpenAI:n jippoon tullaan suhtautumaan?

Kuinka paljon tämä lopulta eroaa siitä, että jokainen ihminen "seisoo jättiläisten olkapäillä", kuten klassinen sanonta kuuluu? Jos joku ihminen olisi samalla tavalla hyödyntänyt jonkun toisen matemaatikon aiempaa työtä ja sitten ratkaissut ongelman, jota aiempi ei ollut kyennyt ratkaisemaan, sanoisitko, että hän "ryösti" ratkaisun? Etenkään modernimmat, äärimmäisen monimutkaiset matemaattiset ongelmat eivät ratkea mitenkään yksittäisen neron päässä perusasioista rakentaen, sama koskee oikeastaan kaikkea tieteellistä tutkimusta. Kaikessa uudessa kehitystyössä on kriittisen tärkeässä, suorastaan täysin välttämättömässä asemassa kaikki se aiempi työ, jota muut ovat jo tehneet.

Eihän tuo Deep Bluekaan pelkästään shakin säännöistä rakentanut voittavia strategioita, vaan sen ohjelmointiin käytettiin huomattavan paljon aikaa ja ainakin yhden suurmestarin asiantuntija-apua. Oleellista oli tietokoneen kyky käyttää valtavaa kirjastoa olemassaolevia skenaarioita ja ennustaa erilaisten mahdollisuuksien todennäköisyyksiä suuria siirtomääriä eteenpäin, joka on periaatteessa tismalleen samaa mitä ihmispelaajatkin tekevät. Mitä enemmän pystyy hyödyntämään tunnettuja skenaarioita ja ennustamaan erilaisia mahdollisuuksia, sitä parempi pelaaja. Tietokone ylitti ihmisen kyvyt = tietokone pystyi paremmin hyödyntämään tunnettuja skenaarioita ja ennustamaan erilaisia mahdollisuuksia.

Eroaa hyvin merkittävästi. Tässä ryöstettiin viittaamatta muiden julkaisematon tulos jonka tyhmyyttään meni jakamaan.

Eli siis ratkaisu oli jonkun muun tekemänä jo olemassa, ja tämä ratkaisu "ryöstettiin"? Silloin tilanne on tietenkin täysin eri. Alkuperäisen kirjoittajan tekstistä sai hyvin toisenlaisen vaikutelman (ratkaisua ei ollut tehty, mutta sen eteen tehtyä työtä hyödynnettiin).

Vierailija kirjoitti:

Mitä tekoäly voi tehdä jos ottaa töpsylän pois seinästä? Vai kuvitteleeko nämä että tekoäly rakentaa tehtaan ja tekee jotain sotarobotteja, jotka estää töpsylän irrottamisen seinästä? On nämä sekaisin kuin rokote-5g-valvontasiru hörhöt. Ei pelota.

Oletko nähnyt Terminator 3:n? Tiedätkö, mikä on sen "lopputwisti"? Seuraa spoileri jos nyt joku haluaa elää jännityksessä yli 20 vuotta vanhan, enintään keskinkertaisen elokuvan suhteen...

Sen lopputwisti on se, että Skynet ei ole mikään teollisuushallin kokoinen tietokone jossain tutkimuslaitoksessa, vaan se on koko maailmanlaajuiseen tietoverkkoon levittäytynyt tekoälysofta. Ei ole mitään töpseliä, jonka voisi vetäistä seinästä, vaan seinästä pitäisi vetää n. kaikki töpselit maailmanlaajuisesti.

Kuten aiemmassa kirjoituksessani totesin, on täysin realismia ajatella, että tekoälyä tullaan lähivuosina hyödyntämään käytännössä kaikilla yhteiskunnan osa-alueilla, koska se aidosti tarjoaa erittäin suuria hyötyjä. Samalla hirveän suuri osa tästä on yhteydessä nettiin (välttämättömyys hyötyjen saamiseksi, koska tekoäly tarvitsee pääsyt tietokantoihin). Jo nykyiset tekoälymallit osaavat hakkeroida kaikenlaisia järjestelmiä. Jos oletetaan hypoteettisena skenaariona tuollaista "runaway superintelligence" -tilannetta, jossa tekoälyt ohjelmoivat ja kouluttavat parempia tekoälyjä, jotka ohjelmoivat ja kouluttavat parempia tekoälyjä, jotka ohjelmoivat ja kouluttavat parempia tekoälyjä jne, ja tuollainen lukuisia tyyliin 5-10x sukupolviparannuksia (realismin rajoissa) läpi käynyt tekoäly on yhteydessä nettiin, kykenee luomaan autonomisesti omia tavoitteitaan ja pitämään ne ihmisiltä salassa, niin on täysin realistista ajatella sen kykenevän murtamaan kaikki salaus- ja suojausviritelmät kaikista tietoverkoista, joihin se pääsee käsiksi. Ei se tarvitse robottiarmeijaa (joka sekään ainakaan pidemmällä tähtäimellä ei ole niin mahdoton skenaario kuin tunnut olettavan, vaikka tietenkin erittäin epätodennäköinen) ihmisten vakavaan vahingoittamiseen, vaan kyky tehdä nettiympäristöstä eksplisiittisen vahingollinen pahimmalla mahdollisella tavalla kaikelle inhimilliselle toiminnalle, mitä siellä tapahtuu (=hyvin suuri osa inhimillisestä toiminnasta) kykenee aiheuttamaan valtavan suuren vahingon. Tappamaan ihmiset sukupuuttoon? Ei varmaan ainakaan kaikkia ainakaan kerralla. Romahduttamaan globaalin yhteiskuntajärjestyksen? Vaikea nähdä, ettei se siihen pystyisi, koska lähes kaikki toiminnot ovat täysin riippuvaisia netistä.

Vierailija kirjoitti:

Markkinointipuhettahan tuo on. 

 

Sam Altmanilta kysyttiin, että milloin tuo teidän firma alkaa tuottaa voittoa. Hän vastasi, ettei tiedä, mutta aikoo kysyä tekoälyltä (=jumalalta) kun aika on kypsä. Kertoo minkälainen kultti tuo on.

"Aion kysyä tekoälyltä" on tietenkin vitsi. Mutta luultavasti hän ei osaa antaa aika-arviota, milloin firma alkaa tuottaa voittoa, koska se riippuu täysin kehityksen nopeudesta. Ennen kaikkea siitä, miten nopeasti päästään edes osittaiseen recursive self-improvementiin, eli siihen, että tekoäly itse tekee suurimman ja tärkeimmän työn parempien tekoälyjen luomisessa. Kuten siinä yhdessä linkittämässäni artikkelissa todettiin, tuo on se, jota tekoälyfirmat jahtaavat koska se on se vaihe, jossa todellinen RoI alkaa tuntua. Periaatteessa sijoitukset, jotka tehdään ennen tuota vaihetta tehdään siinä uskossa, että tuo vaihe saavutetaan.

Laitetaan lisää chatgpt-analyysia:

millä todennäköisyydellä jokin ai-yritys saavuttaa recursive self-improvementin löyhemmässä merkityksessä tämän vuosikymmenen aikana? sanotaan, että sellaisessa merkityksessä, joka antaa niille realistisen mahdollisuuden alkaa tuottamaan vastinetta niille rahoille, jotka ne ovat investoineet ja joita niihin on investoitu

Oma karkea jakaumani olisi ehkä tällainen

Vuoteen 2030 mennessä:

~15 %: AI ei saavuta edes sinun määritelmäsi mukaista merkittävää RSI:tä.

~50 %: AI tekee erittäin merkittävän osan AI-kehityksestä, mutta ihmiset pysyvät selvästi "loopissa"; tätä voisi kutsua weak RSI:ksi.

~25 %: AI pystyy autonomisesti tekemään suurimman osan seuraavan sukupolven AI:n kehitystyöstä ja parantamaan itse kehitysprosessia merkittävästi.

~10 %: tästä seuraa jo todella voimakas feedback loop, jossa AI-kehityksen nopeus kiihtyy dramaattisesti ja ihmisten rooli muuttuu lähinnä resurssien ja tavoitteiden määrittelyksi.

Näistä kolmesta viimeisestä kategoriasta 85 % siis täyttää sinun löyhän määritelmäsi.

jos ajatellaan tuollaista 50% skenaariota (weak rsi), kuinka suureksi arvioit tällaisen lopputuleman taloudellisen hyödyn tämän saavuttavalle yritykselle

Oma karkea arvioni

Jos puhutaan yrityksestä, joka onnistuu ensimmäisenä saavuttamaan aidosti toimivan weak RSI:n, sanoisin, että sen taloudellinen vaikutus voisi olla suunnilleen:

yrityksen pitkän aikavälin arvossa +50–300 % verrattuna tilanteeseen, jossa se ei saavuttaisi sitä, ja erittäin vahvassa versiossa jopa enemmän.

Mutta jos kysyt:

"Kuinka paljon tämä voisi lisätä yrityksen vuosittaista voittoa?"

niin sanoisin ehkä +20–100 % suhteellisen nopeasti, ja parhaassa tapauksessa paljon enemmän muutaman vuoden aikajänteellä.

Vierailija kirjoitti:

Vierailija kirjoitti:

Kovinpa vähän näyttää aihe kiinnostavan. Mielenkiintoista sikäli, että tuon >10% riskiarvion esittäjällä ei ole oikein mitään syytä antaa ainakaan ylöspäin virheellistä arviota. Bisneshyötyä voisi tulla siitä, että riski arvioidaan yleisesti alemmaksi kuin mitä se todellisuudessa on, mutta ei siitä, jos  se arvioidaan yleisesti ylemmäksi kuin mitä se todellisuudessa on. Siksi on mielestäni ihan perusteltua ajatella, että tämän kehityksen aallonharjalla olevan henkilön arvio on joko hänen todellisen parhaan arvionsa mukainen tai sitten hän vähättelee riskiä.

Olen kyllä lukenut sellaisiakin mielipiteitä, että tällaisesta yliarvioinnista ja jopa pelottelusta on myös bisneshyötyä, koska sijoittajat ja valtiot haluavat olla ns. voittajien puolella. Eli tyyliin "jos me ei kehitetä tätä megatuhoasetta, niin naapurit tekee sen kuitenkin!"

Tuo voi tietysti olla ihan totta. Toisaalta tuon selitysmallin kanssa sopii huonommin yhteen esim. tuo Jacob Coxonin näyttävä irtisanoutuminen Anthropicilta nimenomaan teknologian kehitystyön edesvastuuttomuuteen vedoten, johon ap:n lainaamassa twiitissä viitataan. Vai meinaatko, että hänelle on sitten annettu jokin kertakorvaus tällaisesta pr-liikkeestä?

https://www.theguardian.com/technology/2026/sep/09/anthropic-researcher…

Taannoinen OpenAI:n tekoälyn Hugging Face AI:n hakkerointi on hyvä esimerkki siitä, minkälaisia riskejä touhuun liittyy nyt ja antaa hyvän väylän sen hahmottamiseen, mikä saattaa olla mahdollista tulevaisuudessa.

https://www.msn.com/en-us/technology/artificial-intelligence/openai-hug…

Artikkeli käyttää vähän sensationalistista kieltä, ja sitä lukiessa kannattaa pitää mielessä, että ei ole mitään näyttöä siitä tai mitään syytä olettaa, että mikään hakkerointiin osallistunut tekoälymalli tai se, mitä ne kutsuivat "kollektiiviksi" olisi ollut millään tavalla tietoinen toimija, mutta oleellisilta osin artikkeli pitää ilmeisesti paikkansa.

Kun tapahtuneen yhdistää siihen, että ollaan edelleen todella kaukana siitä tekoälyn "älykkyydestä", johon ai-firmat odottavat pääsevänsä seuraavan muutaman vuoden kuluessa niin kyllähän tässä kaikenlaisia kauhuskenaarioita alkaa helposti mielessään rakentaa.

Huolestuttavinta on Silicon Valleyssa pinnalle ponnahtanut uskontomaisia ominaisuuksia saanut AI-kultti, jota voisi parhaiten luonnehtia transhumanistiseksi liikkeeksi. Kulttiin kuuluu teknojohtajia mukaanlukien AI-pomot. Tällaisten hurupäiden käsissä on tulevaisuutemme. Yhtä pahoja kuin Trump.

Mitähän Jacob aikoo tehdä asialle, tai kuvittelee meidnä tekevän? Ei yhtään mitään. Kuten aina näissä "varoitus" jutuissa. Huvittavaa että aina kun työntekijä syystä tai toisesta lähtee niin se entinen työpaikka muuttuu hänen mielessään jotenkin uhkaavaksi ja vaaralliseksi. 

Vierailija kirjoitti:

Mitä tekoäly voi tehdä jos ottaa töpsylän pois seinästä? Vai kuvitteleeko nämä että tekoäly rakentaa tehtaan ja tekee jotain sotarobotteja, jotka estää töpsylän irrottamisen seinästä? On nämä sekaisin kuin rokote-5g-valvontasiru hörhöt. Ei pelota.

Mitä se tekoäly voi tehdä? No testiskenaarioissa se tappoi ihmisen joka oli tulossa sitä sammuttamaan. Että sellaista...