Dobrze, muszę wam powiedzieć o czymś, co naprawdę mnie zafascynowało w tym tygodniu, ponieważ całkowicie zmieniło moje postrzeganie tego, jak działa sztuczna inteligencja.
Przez bardzo długi czas działałem w przekonaniu, że sieci neuronowe to w zasadzie „czarne skrzynki” — niesamowicie potężne, owszem, ale fundamentalnie niezrozumiałe. Trenujemy je, działają, a szczerze? Nie mamy pojęcia dlaczego. Popularna narracja głosiła, że te systemy upychają tak dużo informacji w tak małej liczbie neuronów, że wszystko zaczyna się plątać i mieszać w sposób, który nie ma logicznego sensu.
Ale oto w czym rzecz: co, jeśli ta narracja była błędna?
Badacz o nazwisku Andreas Stathopoulos robi coś, co w dziedzinie interpretowalności AI brzmi niemal rewolucyjnie. Zamiast próbować budować skomplikowane narzędzia do „dekodowania” tego, co robią sieci, on po prostu... przyjrzał się im. Bezpośrednio. Używając lepszych metod i nowoczesnych modeli.
A to, co odkrył, było naprawdę zaskakujące.
Neuron „kot-samochód” nie był tym, czym myśleliśmy
Pamiętacie, kiedy naukowcy znaleźli ten słynny neuron w sieci do rozpoznawania obrazów, który zdawał się reagować zarówno na pyszczki kotów, jak i przody samochodów? Uznano to za dowód na to, że sieci neuronowe są fundamentalnie chaotyczne — że poszczególnym neuronom przypisuje się wiele zupełnie niezwiązanych ze sobą zadań, ponieważ sieci brakuje miejsca.
Wyjaśnienie nazwano „superpozycją” — ideą, że sieci, gdy są pod presją, zaczynają składać niezwiązane ze sobą pojęcia w pojedynczych neuronach, tworząc splątane „węzły”, które musimy starannie rozplątać, aby cokolwiek zrozumieć.
Ale Stathopoulos twierdzi, że było to błędne odczytanie. Kiedy faktycznie prześledził to, co się działo, okazało się, że ten neuron „kot-samochód” wcale nie ukrywał niezwiązanych ze sobą pojęć. Robił coś znacznie bardziej sensownego: generalizował i składał pomysły w zwyczajny sposób. To „ukrywanie” wcale niczego nie ukrywało.
Neurony nie były splątane. Po prostu wykonywały swoją pracę w sposób, który wyglądał dziwnie przy słabym oświetleniu.
Model, który jest w pełni czytelny
I tu robi się naprawdę ciekawie. Stathopoulos wytrenował to, co nazywa „nietrywialną” siecią neuronową — taką, która jest wystarczająco złożona, by miała znaczenie — i użył lepszych projektów architektonicznych. Wynik?
Dziewięćdziesiąt dziewięć do stu procent neuronów w ostatniej warstwie stało się łatwo interpretowalnych.
Zastanówcie się nad tym przez chwilę.
Nie „niektóre z nich”. Nie „jeśli mocno zmrużycie oczy”. Prawie wszystkie. Model jest „szeroko czytelny na całej długości”, jak to ujął. Możesz dosłownie przeglądać i rozumieć, co robi każdy pojedynczy neuron.
I oto co uważam za fascynujące: przetestował to na ogromnym zakresie rozmiarów modeli, od malutkich po duże. Interpretowalność nie była jakąś specjalną cechą idealnie dobranego modelu. Sprawdziła się w każdym przypadku. Mniejsze modele po prostu używają bardziej ogólnych pojęć — jeden neuron może obejmować ogólnie „samochody” — podczas gdy większe modele rozbijają to na bardziej specyficzne rozróżnienia. Ale oba są w pełni zrozumiałe.
Co się zmieniło?
Co zatem zrobiło różnicę? Podobno dwie rzeczy:
Po pierwsze, oryginalny model (nazywany InceptionV1), który wszyscy badali, miał problemy architektoniczne w swoich późniejszych warstwach. Były one przeładowane informacjami w sposób, który faktycznie czynił je chaotycznymi. Nie była to cecha immanentna sieci neuronowych — to był błąd konstrukcyjny.
Po drugie, nasze narzędzia do „patrzenia” na te sieci były dość prymitywne. Kiedy masz tylko latarkę, wszystko wygląda jak cienie.
Nowoczesne ulepszenia architektury sieci neuronowych — zaprojektowane głównie po to, by pomóc głębokim warstwom lepiej się uczyć — miały szczęśliwy skutek uboczny: sprawiły, że sieci stały się naturalnie bardziej interpretowalne. Nie próbowaliśmy naprawić problemu interpretowalności. Przypadkiem rozwiązaliśmy go, rozwiązując inne problemy.
Co to oznacza dla bezpieczeństwa AI
Ma to ogromne znaczenie dla badań nad bezpieczeństwem AI, nawet jeśli szczegóły techniczne mogą wydawać się abstrakcyjne.
Jeśli sieci neuronowe są naprawdę niezrozumiałe — prawdziwymi czarnymi skrzynkami — to zapewnienie ich bezpiecznego zachowania jest niesamowicie trudne. Próbujesz zweryfikować coś, czego fundamentalnie nie potrafisz pojąć.
Ale jeśli te systemy są w rzeczywistości dość czytelne, a neurony wykonują znaczące, możliwe do zidentyfikowania czynności? To zupełnie inna sytuacja. Możemy je badać bezpośrednio. Możemy zrozumieć, na czym skupiają uwagę, jakie pojęcia budują i jak decyzje przepływają przez system.
Nie oznacza to, że AI nagle stało się „bezpieczna” — wciąż pozostało mnóstwo pracy. Ale oznacza to, że mamy realną szansę na zrozumienie tego, co budujemy. A to nie jest mało.
Szczere wyznanie
Muszę docenić tu intelektualną uczciwość. Stathopoulos otwarcie przyznaje, że spędził lata na badaniu tych systemów i wierzył w wyjaśnienie oparte na „superpozycji”. Był przekonany, że sieci są splątane i że będziemy potrzebować skomplikowanych narzędzi do rekonstrukcji, aby w ogóle móc je zrozumieć.
Mylił się. I mówi o tym wprost, mając dowody na poparcie swoich słów.
To jest właśnie ten rodzaj rzeczy, który daje mi nadzieję na przyszłość tej dziedziny. Nie dlatego, że rozwiązaliśmy problem dopasowania AI (alignment) — bo jeszcze nie rozwiązaliśmy — ale dlatego, że sugeruje to, iż możemy faktycznie robić postępy w rozumieniu tych systemów. Nie musimy działać po omacku.
Sieci zawsze były czystsze, niż nam się wydawało. Potrzebowaliśmy po prostu lepszego wzroku.
Co o tym myślicie? Czy to zmienia Wasze spojrzenie na systemy AI? Jestem szczerze ciekawy — zostawcie komentarz poniżej i porozmawiajmy o tym.