Okay, jeg er nødt til at fortælle dig noget, som virkelig begejstrede mig i denne uge, for det vendte fuldstændig min forståelse af, hvordan AI fungerer, på hovedet.
I meget lang tid har jeg arbejdet ud fra den antagelse, at neurale netværk i bund og grund er "sorte bokse" – utroligt kraftfulde, ja, men fundamentalt uforståelige. Vi træner dem, de virker, og ærligt talt? Vi har ingen anelse om hvorfor. Den gængse fortælling har været, at disse systemer presser så meget information ind i så få neuroner, at tingene bliver filtret sammen og blandet på måder, der ikke giver nogen logisk mening.
Men her er pointen: Hvad nu hvis den fortælling var forkert?
En forsker ved navn Andreas Stathopoulos har gang i noget, der lyder næsten oprørsk inden for AI-fortolkelighed (interpretability). I stedet for at prøve at bygge avancerede værktøjer til at "afkode", hvad netværkene gør, så... kiggede han bare på dem. Direkte. Med bedre metoder og moderne modeller.
Og det, han fandt, var oprigtigt overraskende.
Kat-bil-neuronen var ikke, hvad vi troede
Husker du, da forskere fandt den berømte neuron i et billedgenkendelsesnetværk, som syntes at reagere på både katteansigter OG bilfronten? Dette blev fremhævet som bevis på, at neurale netværk er fundamentalt rodede – at individuelle neuroner får tildelt flere helt urelaterede opgaver, fordi netværket løber tør for plads.
Forklaringen blev kaldt "superposition" – idéen om, at netværk, når de er under pres, begynder at folde urelaterede koncepter sammen i enkelte neuroner, hvilket skaber filtrede "knuder", som vi skal afvikle omhyggeligt for at forstå noget som helst.
Men Stathopoulos argumenterer for, at dette var en fejlfortolkning. Da han rent faktisk sporede, hvad der skete, var den kat-bil-neuron slet ikke ved at skjule urelaterede koncepter. Den gjorde noget langt mere fornuftigt: den generaliserede og sammensatte idéer på en helt almindelig måde. "Skjulningen" skjulte slet ingenting.
Neuronerne var ikke filtret sammen. De udførte bare deres arbejde på en måde, der så mærkelig ud under dårlig belysning.
Modellen, der faktisk er læsbar
Her bliver det virkelig interessant. Stathopoulos trænede det, han kalder et "ikke-trivielt" neuralt netværk – et, der faktisk er komplekst nok til at betyde noget – og brugte bedre arkitektoniske designs. Resultatet?
Nioghalvfems til et hundrede procent af neuronerne i det sidste lag blev let fortolkelige.
Lad det synke ind et øjeblik.
Ikke "nogle af dem". Ikke "hvis du kniber øjnene hårdt nok sammen". Næsten alle sammen. Modellen er "bredt læsbar hele vejen igennem", som han siger det. Du kan bogstaveligt talt gennemgå og forstå, hvad hver enkelt neuron gør.
Og her er det, jeg finder fascinerende: Han testede dette på tværs af et enormt spænd af modelstørrelser, fra de helt små til de store. Fortolkeligheden var ikke en særlig egenskab ved en perfekt dimensioneret model. Det holdt hele vejen igennem. Mindre modeller bruger bare grovere koncepter – én neuron kan dække "biler" bredt – mens større modeller nedbryder det i mere specifikke distinktioner. Men begge dele er fuldstændig forståelige.
Hvad ændrede sig?
Så hvad gjorde forskellen? To ting, tilsyneladende:
For det første havde den oprindelige model (kaldet InceptionV1), som alle studerede, arkitektoniske problemer i sine senere lag. De var oversvømmet med information på måder, der rent faktisk gjorde dem kaotiske. Dette var ikke en iboende egenskab ved neurale netværk – det var en fejl.
For det andet var vores værktøjer til at "kigge" på disse netværk ret primitive. Når man kun har en lommelygte, ligner alt skygger.
Moderne forbedringer af neurale netværks arkitektur – designet primært til at hjælpe dybe lag med at lære bedre – havde en lykkelig bivirkning: de gjorde netværkene mere naturligt fortolkelige. Vi forsøgte ikke at løse fortolkelighedsproblemet. Vi løste det ved et uheld, mens vi løste andre problemer.
Hvad det betyder for AI-sikkerhed
Dette betyder enormt meget for AI-sikkerhedsforskning, selvom de tekniske detaljer måtte virke abstrakte.
Hvis neurale netværk er oprigtigt uforståelige – ægte sorte bokse – så er det utroligt svært at sikre, at de opfører sig sikkert. Du forsøger at verificere noget, som du fundamentalt ikke kan forstå.
Men hvis disse systemer faktisk er ret læsbare, med neuroner der udfører meningsfulde, identificerbare ting? Så er det en helt anden situation. Vi kan studere dem direkte. Vi kan forstå, hvad de fokuserer på, hvilke koncepter de opbygger, og hvordan beslutninger flyder gennem systemet.
Det betyder ikke, at AI pludselig er "sikker" – der er stadig et enormt arbejde foran os. Men det betyder, at vi har en reel chance for at forstå, hvad vi bygger. Det er ikke uvæsentligt.
Den ærlige indrømmelse
Jeg må prise den intellektuelle ærlighed her. Stathopoulos anerkender eksplicit, at han brugte år på at studere disse systemer og troede på "superposition"-forklaringen. Han var overbevist om, at netværkene var filtret sammen, og at vi ville få brug for avancerede rekonstruktionsværktøjer for nogensinde at kunne give mening til dem.
Han tog fejl. Og han siger det direkte, med beviser der understøtter det.
Det er den slags, der giver mig håb for feltet. Ikke fordi vi har løst AI-alignment (det har vi ikke), men fordi det tyder på, at vi rent faktisk kan gøre fremskridt med at forstå disse systemer. Vi behøver ikke at operere i mørket.
Netværkene var altid renere, end vi troede. Vi havde bare brug for bedre øjne.
Hvad tænker du? Ændrer det din opfattelse af AI-systemer? Jeg er oprigtigt nysgerrig – smid en kommentar herunder, så lad os tale om det.