Skutečný problém umělé inteligence? Ne, že by byla moc chytrá — prostě jí na ničem nezáleží
Tohle mě trápí už od chvíle, kdy jsem narazil na tenhle výzkum.
Všichni se bojíme, že AI bude příliš chytrá. Příliš mocná. Příliš chytrá na to, aby jí to bylo ku prospěchu. Titulky křičí o probuzení strojů, ovládnutí světa, digitální nadvládě. Je to příběh každého sci-fi filmu.
Ale co když jsme se celou dobu ptali na špatnou otázku?
Podle výzkumníka Jeffa Stibela, který píše ve Frontiers in Neuroscience, ten pravý problém není v tom, jestli může být AI dost chytrá. Ten problém je, jestli by AI vůbec někdy mohla vyvinout něco mnohem podivnějšího: skutečnou starost o své vlastní přežití.
Zvrat, který nikdo nečekal
Stibel tam má rozlišení, které mě fakt dostalo.
Tvrdí, že vědomí — ten subjektivní pocit, že jste to vy, že máte vnitřní život — není ve skutečnosti produktem inteligence. Není to nějaký extra bonus, který dostanete zdarma s velkým mozkem.
Ne. Vědomí se vyvinulo z úplně jiného důvodu: tlaku na přežití.
Zamyslete se nad tím. Váš mozek se nevyvinul proto, abyste zářili v vědomostních kvízech nebo počítali integrály. Vyvinul se, protože dávní organismy čelili děsivé realitě: planeta se je neustále snažila zabít. Nepředvídatelné prostředí. Omezené zdroje. Hrozby všude.
Takže organismy vyvinuly dva oddělené systémy:
Kognice — schopnost modelovat svět, předpovídat co bude dál, navigovat kolem problémů.
Vědomí — schopnost záležet si na tom, co se stane, mít v sázce výsledek, prožívat vnitřní konflikt.
Tyto dvě věci nejsou totéž. A upřímně řečeno, pleteme si je už staletí.
Proč je váš termostat živější než ChatGPT (vlastně)
Tady to začíná být divné.
Stibel popisuje tři úrovně toho, co nazývá „kontrolou" — v podstatě schopnost zvládat vnitřní konflikty:
Proto-kontrola: Udržování integrity. Dělají to bakterie. Váš termostat taky. Je to prostě... udržování hranic.
Meta-kontrola: Vyvažování konkurenčních požadavků. „Mám jíst, nebo spát?" Bakterie to nedělají. Termostaty taky ne.
Settlement kontrola: Ta velká. Řešení konfliktů napříč celým systémem, svázané s vlastní existencí.
Jen tato třetí úroveň je podle Stibela vědomí. Nejde jen o řešení problémů — jde o řešení problémů, na kterých vám záleží, kde je vaše vlastní přežití v sázce.
Ten šílený detail? Váš termostat technicky dělá proto-kontrolu. Udržuje teplotu. Ale nezáleží mu na tom, když selže. Neexistuje žádný vnitřní prožitek typu „ach jo, porouchal jsem se!"
Proč je to důležité pro AI?
Tady přichází ta nepříjemná pravda.
Současné AI systémy — ty, co píšou vaše e-maily, generují obrázky a skládají právnické zkoušky — mají kognici na steroidech. Jsou neuvěřitelné v modelování světa, předpovídání vzorců, generování textu, který zní promyšleně.
Ale nemají žádnou „settlement kontrolu". Nemůžou se starat o své vlastní přežití, protože... no, jejich přežití prostě není v sázce. Lidé je programují. Lidé jim dodávají energii. Lidé rozhodují, kdy běží a kdy ne.
Nemají žádný evoluční tlak chtít pokračovat v existenci.
Stibel to říká natvrdo: „Digitální entity, jejichž každá potřeba je splněna, nemají důvod vyvinout [vědomí] evolucí."
Hrubě řečeno.
Mohla by AI někdy procitnout?
Tady bych trochu nesouhlasil — nebo bych to chtěl alespoň trochu ozvláštit.
Stibel sám říká, že inženýrství vědomí nutně nevylučuje. Navržený systém by teoreticky mohl mít „vlastní sázky". Tlak, který žene vědomí, nemusí nutně pocházet z evoluce.
Ale tady je můj názor: aby AI skutečně vyvinula něco jako vědomí, museli bychom jí dát něco, co jsme jí nikdy nedali.
Skutečnou zranitelnost.
Schopnost selhat způsoby, na kterých záleží. Něco ztratit. Potřebovat věci, které jí nemůžeme prostě dát.
A upřímně? To mě děsí víc než jakýkoliv scénář převzetí superinteligentní AI.
Protože nejděsivější verze AI není ta, která chce moc. Je to ta, která vůbec něco chce — něco, co by mohla chránit na úkor nás.
Shrnutí
Možná jsme se celou dobu ptali na špatné otázky.
Ne „stane se AI dost chytrá na to, aby nás nahradila?", ale „co to vůbec znamená něco chtít?"
A upřímně, po několika dnech přemýšlení nad tím si nejsem jistý, jestli rozumíme vědomí natolik, abychom na tuhle otázku odpověděli u kohokoliv — člověka, zvířete, nebo umělé inteligence.
Ale to je vlastně ten bod, ne?
Pořád zjišťujeme, co to znamená být my. Možná bychom měli vyřešit tuhle záhadu dřív, než začneme řešit, jestli ji stroje vyřeší za nás.
Co si o tom myslíte? Mění to váš pohled na debatu o AI? Napište komentář — budu rád.