Oké, meg kell mondanom nektek valamit, ami ezen a héten valóban izgatott engem, mert teljesen felborította az én megértésemet arról, hogyan működik a mesterséges intelligencia (MI).
Hosszú ideig azt a feltételezést követtem, hogy a neuronhálózatok alapvetően „fekete dobozok” — rendkívül erősek, természetesen, de alapvetően érthetetlenek. Tréningeljük őket, működnek, és őszintén? Nincs fogalmunk, miért. A népszerű feljegyzés az volt, hogy ezek a rendszerek annyi információt zsúsolnak bele ilyen kevés neuronba, hogy a dolgok teljesen összekerülnek és összefolynak olyan módokon, amelyek logikailag értelmetlenek.
De itt jön a csavar: mi van, ha ez a feljegyzés téves volt?
Andreas Stathopoulos nevű kutató olyasmit csinált, ami szinte lázadásnak tűnik az MI-interpretálhatóság (magyarázhatóság) területén. Ahelyett, hogy bonyolult eszközöket próbált volna építeni ahhoz, hogy „kódolják” a hálózatok tevékenységét, ő egyszerűen... megnézte őket. Közvetlenül. Jobb módszerekkel és modern modellekkel.
És amit talált, az valóban meglepő volt.
A macska-autó neuron nem az volt, amire gondoltunk
Emlékszenek, amikor a kutatók megtalálták azt a híres neuront egy képfelismerő hálózatban, amely úgy tűnt, hogy egyszerre reagál a macskaarcokra ÉS az autók elejére? Ezt a bizonyítékaként tartották annak, hogy a neuronhálózatok alapvetően rendetlenek — hogy az egyes neuronoknak több, egymástól teljesen független feladatot kiosztálnak, mert a hálózatnak elfogynak a helyei.
Ezt a magyarázatot „szuperpozíciónak” called — az a gondolat, hogy a hálózatok, amikor nyomás alatt állnak, kezdik egymásba gyúrni a nem kapcsolódó fogalmakat egyetlen neuronokba, összekavarodott „csomókat” szülve, amelyeket óvatosan ki kell nyáncsoznunk, hogy bármit is megértsünk.
De Stathopoulos azt állítja, hogy ez egy félreolvasás volt. Amikor valójában végigkövette, mi történt, az a macska-autó neuron egyáltalán nem rejtett egymástól független fogalmakat. Sokkal ésszerűbb dolgot csinált: általánosított és összeállított ötleteket a legszámosabb módon. A „rejtés” nem rejtött semmit.
A neuronok nem csomósak voltak. Csak olyan módon végezték el a munkájukat, ami furcsán nézett ki rossz megvilágítás mellett.
A modell, amely valójában olvasható
Itt jön a valóban érdekes rész. Stathopoulos megtanított egy olyat, amit ő „nem triviális” neuronhálózatnak nevez — olyat, amely ténylegesen elég összetett ahhoz, hogy számító legyen — és jobb architektúrát használt. Az eredmény?
A végső réteg neuronainak kilencvenkilenc-t hundred százaléka könnyen értelmezhetővé vált.
Gondoljazzon rá egy pillanatig.
Nem „néhányuk”. Nem „ha elég erősen összehúzja a szemét”. Szinte mindegyikük. A modell „teljes egészében olvasható” a folyamat során, ahogy ő mondja. Szó szerint átböngészhetheti és megértheti, mit csinál az egyes neuronok.
És itt jön az, ami a leglenyűgözőbb: különböző méretű modelleken tesztelte ezt, a tiny-től a nagyig. Az interpretálhatóság nem egyetlen, tökéletes méretű modell különleges tulajdonsága volt. Minden esetben megmaradt. A kisebb modellek csak durvább fogalmakat használnak — egy neuron például nagymértékben lefedhet „autókat” — míg a nagyobb modellek ezt részletesebb különbségekre bontják. De mindkettő tökéletesen érthető.
Mi változott meg?
Szóval mi volt a különbség? Két dolog, állítóleg:
Először is, az eredeti modell (amelyet InceptionV1-nek neveznek), amit mindenki vizsgált, architektúrabeli problémákkal járt a későbbi rétegeiben. A rétegek információval voltak megtöltve olyan módon, ami valóban kaotikussá tette őket. Ez nem a neuronhálózatok veleszületett tulajdonsága volt — hanem egy hiba (bug).
Másodszor, a hálózatok „megtekintésére” szolgáló eszközeink elég primitívek voltak. Ha csak egy zseblámpád van, minden árnyéknak tűnik.
A neuronhálózat architektúrájának modern fejlesztései — amelyeket elsősorban azért terveztek, hogy a mély rétegek jobban tanuljanak — egy kellemes mellékhatással jártak: természetesebben értelmezhetővé tették a hálózatokat. Nem az interpretálhatósági problémát akartuk megoldani. Véletlenül megoldottuk, miközben más problémákat javítottunk.
Mit jelent ez az MI-biztonságra
Ez hatalmas fontosságú az MI-biztonsági kutatás szempontjából, még ha a technikai részletek absztraktnak is tűnnek.
Ha a neuronhálózatok valóban érthetetlenek — valódi fekete dobozok — akkor rendkívül nehéz biztosítani, hogy biztonságosan viselkedjenek. Olyan dolgot próbálsz ellenőrizni, amit alapvetően nem tudsz megérteni.
De ha ezek a rendszerek valójában elég olvashatóak, és a neuronok értelmes, azonosítható dolgokat végeznek? Az egy teljesen más helyzet. Közvetlenül tanulmányozhatjuk őket. Megérthetjük, mire figyelnek, milyen fogalmakat építenek fel, és hogyan folynak keresztül a döntések a rendszeren.
Ez nem azt jelenti, hogy az MI hirtelen „biztonságos” lett — még hatalmas munka áll előttünk. De azt jelenti, hogy van esélyünk megérteni, amit építünk. Ez nem semmi.
Az őszinte elக்ezés
Tiszteltelmet kell ಸಲ್ಲnem az intellektuális őszinteségnek. Stathopoulos kifejezetten elismeri, hogy évekig tanulmányozta ezeket a rendszereket, és a „szuperpozíció” magyarázatban hiszett. Meggyőződtve volt arról, hogy a hálózatok csomósak, és hogy bonyolult rekonstrukciós eszközökre lesz szükségünk, hogy valaha is értelmet tudjunk vinni belőlük.
Hibásan vette. És ezt őszintén elmondja, bizonyítékokkal alátámasztva.
Ez az a fajta dolog, ami reményt ad a szakmának. Nem azért, mert megoldottuk az MI-illoszciót (az még nem történt meg), hanem mert azt sugallja, hogy valóban haladhatunk a rendszerek megértésében. Nem kell a sötétben haladnunk.
A hálózatok mindig is tisztábbak voltak, mint gondoltuk. Csak jobb szemre volt szükségünk.
Mi újság? Ez megváltoztatja az MI-rendszerekről alkotott képét? Nagyon kíváncsi vagyok — írj egy kommentet az alul, és beszéljük meg!