Ok, jeg er nødt til at fortælle dig noget, som virkelig begejstrede mig i denne uge, for det vendte fuldstændig op og ned på min forståelse af, hvordan AI fungerer.
I lang tid har jeg opereret under antagelsen om, at neurale netværk i essensen er "sorte bokse" – utroligt kraftfulde, ja, men fundamentalt uforståelige. Vi træner dem, de virker, og ærligt talt? Vi har ingen anelse om hvorfor. Den udbredte fortælling har været, at disse systemer presser så meget information ind i så få neuroner, at tingene bliver filtret sammen og blandet på måder, der ikke giver nogen logisk mening.
Men her er pointen: Hvad nu hvis den fortælling var forkert?
En forsker ved navn Andreas Stathopoulos har gjort noget, der lyder næsten oprørsk inden for AI-tolkbarhed. I stedet for at prøve at bygge avancerede værktøjer til at "afkode", hvad netværkene gør, så har han bare... kigget på dem. Direkte. Med bedre metoder og moderne modeller.
Og det, han fandt, var virkelig overraskende.
Kat-bil-neuronen var ikke, hvad vi troede
Husker du, da forskere fandt den berømte neuron i et billedgenkendelsesnetværk, som så ud til at reagere på både katteansigter OG bilfrontpartier? Dette blev brugt som bevis for, at neurale netværk er fundamentalt rodende – at individuelle neuroner får tildelt flere helt urelaterede opgaver, fordi netværket løber tør for plads.
Forklaringen blev kaldt "superposition" – idéen om, at netværk, når de er under pres, begynder at folde urelaterede koncepter sammen i enkelte neuroner, hvilket skaber sammenfiltrede "knuder", som vi skal afvikle omhyggeligt for at forstå noget som helst.
Men Stathopoulos argumenterer for, at dette var en fejlfortolkning. Da han rent faktisk sporet, hvad der skete, var den kat-bil-neuron slet ikke ved at skjule urelaterede koncepter. Den gjorde noget langt mere fornuftigt: den generaliserede og sammensatte idéer på en helt almindelig måde. "Skjulningen" skjulte faktisk ingenting.
Neuronerne var ikke filtret sammen. De gjorde bare deres arbejde på en måde, der så mærkelig ud under dårlig belysning.
Modellen, der faktisk er læsbar
Her bliver det virkelig interessant. Stathopoulos trænede det, han kalder et "ikke-trivielt" neuralt netværk – et, der er komplekst nok til at betyde noget – og brugte bedre arkitektoniske designs. Resultatet?
Nioghalvfems til et hundrede procent af neuronerne i det sidste lag blev let tolkbare.
Lad det synke ind et øjebeblik.
Ikke "nogle af dem". Ikke "hvis du kniber øjnene sammen". Næsten alle sammen. Modellen er "bredt læsbar hele vejen igennem", som han siger det. Du kan bogstaveligt talt gennemgå den og forstå, hvad hver enkelt neuron gør.
Og her er det, jeg finder fascinerende: Han testede dette på tværs af et enormt spektrum af modelstørrelser, fra små til store. Tolkbarheden var ikke en særlig egenskab ved en perfekt dimensioneret model. Det holdt hele vejen igennem. Mindre modeller bruger bare grovere koncepter – én neuron kan dække "biler" bredt – mens større modeller bryder det ned i mere specifikke distinktioner. Men begge er fuldstændig forståelige.
Hvad ændrede sig?
Så hvad gjorde forskellen? To ting, tilsyneladende:
For det første havde den oprindelige model (kaldet InceptionV1), som alle studerede, arkitektoniske problemer i sine senere lag. De var oversvømmet med information på måder, der rent faktisk gjorde dem kaotiske. Dette var ikke en iboende egenskab ved neurale netværk – det var en fejl.
For det andet var vores værktøjer til at "kigge" på disse netværk ret primitive. Når man kun har en lommelygte, ligner alt skygger.
Moderne forbedringer af den neurale netværksarkitektur – designet primært til at hjælpe dybe lag med at lære bedre – havde en lykkelig bivirkning: de gjorde netværkene mere naturligt tolkbare. Vi forsøgte ikke at løse tolkbarhedsproblemet. Vi løste det ved et uheld, mens vi løste andre problemer.
Hvad det betyder for AI-sikkerhed
Dette betyder enormt meget for AI-sikkerhedsforskning, selvom de tekniske detaljer måske virker abstrakte.
Hvis neurale netværk er oprigtigt uforståelige – ægte sorte bokse – så er det utroligt svært at sikre, at de opfører sig sikkert. Du forsøger at verificere noget, du fundamentalt ikke kan forstå.
Men hvis disse systemer faktisk er ret læsbare, med neuroner der udfører meningsfulde, identificerbare ting? Så er det en helt anden situation. Vi kan studere dem direkte. Vi kan forstå, hvad de fokuserer på, hvilke koncepter de opbygger, og hvordan beslutninger flyder gennem systemet.
Det betyder ikke, at AI pludselig er "sikker" – der er stadig et enormt arbejde foran os. Men det betyder, at vi har en reel chance for at forstå, hvad vi bygger. Det er ikke uvæsentligt.
Den ærlige indrømmelse
Jeg må værdsætte den intellektuelle ærlighed her. Stathopoulos anerkender eksplicit, at han brugte år på at studere disse systemer og troede på "superposition"-forklaringen. Han var overbevist om, at netværkene var filtret sammen, og at vi ville få brug for avancerede rekonstruktionsværktøjer for nogensinde at kunne give mening til dem.
Han tog fejl. Og han siger det direkte, med beviser til at bakke det op.
Det er den slags, der giver mig håb for feltet. Ikke fordi vi har løst AI-alignment (det har vi ikke), men fordi det tyder på, at vi rent faktisk kan gøre fremskridt med at forstå disse systemer. Vi behøver ikke at operere i mørket.
Netværkene var altid renere, end vi troede. Vi havde bare brug for bedre øjne.
Hvad tænker du? Ændrer det din opfattelse af AI-systemer? Jeg er oprigtigt nysgerrig – smid en kommentar herunder, så lader vi os tale sammen om det.