Dobře, musím vám říct něco, co mě tento týden upřímně nadchlo, protože to úplně převratně změnilo můj pohled na to, jak AI funguje.
Po dlouhou dobu jsem pracoval s předpokladem, že neuronové sítě jsou v podstatě „černými skříňkami“ – neuvěřitelně výkonné, to samozřejmě, ale v základu nepochopitelné. My je trénujeme, one fungují, a upřímně? Nemáme ani ponestoup, proč tomu tak je. Populární teorie zní, že tyto systémy naskládají tolik informací do tak málo neuronů, že se věci proplete a smíchají způsobem, který nedává žádný logický smysl.
Ale tady je ta věc: co když ta teorie byla chybná?
Výzkumník jménem Andreas Stathopoulos dělá něco, co v oblasti interpretovatelnosti AI zní téměř vzpurně. Místo toho, aby se snažil stavět složité nástroje k „dekódování“ toho, co sítě dělají, se na ně prostě... podíval. Napřímo. S lepšími metodami a moderními modely.
A to, co našel, bylo opravdu překvapivé.
Ten neuron „kočka-auto“ nebyl takový, jak jsme si mysleli
Pamatujete, když výzkumníci našli ten slavný neuron v síti na rozpoznávání obrazu, který se zdál reagovat jak na kočičí tváře, TAK i na čelní pohledy aut? To bylo uváděno jako důkaz, že neuronové sítě jsou v základu chaotické – že jednotlivým neuronům jsou přidělovány různé, zcela nesouvisející úkoly, protože síti dochází místo.
Tento jev se nazýval „superpozice“ – představa, že sítě, když jsou pod tlakem, začnou skládat nesouvisející koncepty do jednotlivých neuronů a vytvářejí tak propletené „uzly“, které musíme pečlivě rozpletat, abychom vůbec něco pochopili.
Stathopoulos ale tvrdí, že šlo o chybný odhad. Když skutečně prozkoumával, co se děje, ten neuron „kočka-auto“ vůbec neskrýval nesouvisející koncepty. Dělal něco mnohem rozumnějšího: zobecňoval a skládal nápady zcela běžným způsobem. To „skrývání“ nic neskrývalo.
Neurony nebyly zamotané. Jen dělaly svou práci způsobem, který vypadal divně za špatného osvětlení.
Model, který je skutečně čitelný
Tady to začíná být opravdu zajímavé. Stathopoulos natrénoval to, čemu říká „nontriviální“ neuronová síť – tedy takovou, která je skutečně dostatečně komplexní na to, aby na ní záleželo – a použil lepší architektonické návrhy. Výsledek?
Devětadevadesát až sto procent neuronů v poslední vrstvě bylo snadno interpretovatelných.
Chvíli nad tím přemýšlejte.
Ne „některé z nich“. Ne „pokud si pořádně přimrknete“. Téměř všechny. Model je „v celém svém rozsahu obecně čitelný“, jak to on sám říká. Můžete doslova procházet a rozumět tomu, co každý neuron dělá.
A co mě na tom fascinuje: otestoval to na obrovském spektru velikostí modelů, od těch nejmenších po ty největší. Interpretovatelnost nebyla nějaká speciální vlastnost modelu s ideální velikostí. Platilo to všude. Menší modely jednoduše používají hrubší koncepty – jeden neuron může pokrývat obecně „auta“ – zatímco větší modely to rozkládají na mnohem konkrétnější rozdíly. Ale oba jsou dokonale pochopitelné.
Co se změnilo?
Co tedy udělalo ten rozdíl? Zřejmě dvě věci:
První, původní model (nazvaný InceptionV1), který všichni studovali, měl vovšem v pozdějších vrstvách architektonické problémy. Byly přetečené informacemi způsobem, který je skutečně činil chaotickými. To nebyla vlastnost neuronových sítí – to byla chyba.
Druhá, naše nástroje pro „dívání se“ na tyto sítě byly docela primitivní. Když máte k dispozici jen baterku, všechno vypadá jako stíny.
Moderní vylepšení architektury neuronových sítí – navržená hlavně proto, aby pomohla hlubokým vrstvám lépe se učit – měla šťastný vedlejší efekt: udělala sítě přirozeně interpretovatelnějšími. Nesnažili jsme se vyřešit problém s interpretovatelností. Omylem jsme ho vyřešili při řešení jiných problémů.
Co to znamená pro bezpečnost AI
Na tom závisí obrovská věc pro výzkum bezpečnosti AI, i když se technické detaily mohou zdát abstraktní.
Pokud jsou neuronové sítě skutečně nepochopitelné – opravdové černé skříňky – pak je zajištění jejich bezpečného chování nesmírně těžké. Snažíte se ověřit něco, čemu v základu nerozumíte.
Ale pokud jsou tyto systémy ve skutečnosti docela čitelné, s neurony, které dělají smysluplné, identifikovatelné věci? To je úplně jiná situace. Můžeme je studovat přímo. Můžeme rozumět tomu, na co si všimají, jaké koncepty budují a jak to rozhodování systémem protéká.
neznamená to, že je AI najednou „bezpečná“ – stále je tu obrovská práce. Ale znamená to, že máme reálnou šanci pochopit, co stavíme. To není nic menšího.
Upřímné přiznání
Musím ocenit tu intelektuální poctivost. Stathopoulos výslovně přiznává, že roky studoval tyto systémy a věřil v tu vysvětlení s „superpozicí“. Byl přesvědčen, že sítě jsou zamotané a že k jejich pochopení budeme potřebovat složité nástroje pro rekonstrukci.
Mýlil se. A říká to přímo, s důkazy, které to potvrzují.
To je ten druh věci, který mi dodává naději pro tento obor. Ne proto, že bychom vyřešili sladění AI (AI alignment) (to jsme ještě neudělali), ale proto, že to naznačuje, že můžeme skutečně dělat pokroky v pochopení těchto systémů. Nemusíme fungovat ve tmách.
Sítě byly vždycky čistší, než jsme si mysleli. Jen jsme potřebovali lepší oči.
Co si o tom myslíte vy? Změní to váš pohled na systémy AI? Jsem opravdu zvědavý – napište komentář níže a pojďme o tom diskutovat.