Bine, trebuie să vă spun ceva ce m-a entuziasmat cu adevărat săptămâna aceasta, deoarece mi-a schimbat complet înțelegerea modului în care funcționează IA.
Pentru foarte mult timp, am lucrat sub premisa că rețelele neuronale sunt, în esență, „cutii negre” — incredibil de puternice, sigur, dar fundamental incomprehensibile. Le antrenăm, ele funcționează și, sincer vorbind? Nu avem nicio idee de ce. Narativul popular a fost că aceste sisteme înghesă atât de multă informație în atât de puțini neuroni, încât lucrurile se încurcă și se amestecă în moduri care nu au nicio logică.
Dar iată punctul: ce-ar fi dacă acel narativ ar fi fost greșit?
Un cercetător pe nume Andreas Stathopoulos a făcut ceva ce pare aproape rebel în spațiul interpretabilității IA. În loc să încerce să construiască instrumente elaborate pentru a „decoda” ce fac rețelele, el pur și simplu... le-a privit. Direct. Cu metode mai bune și modele moderne.
Și ceea ce a descoperit a fost cu adevărat surprinzător.
Neuronul „Pisică-Mașină” nu a fost ceea ce am crezut
Vă amintiți când cercetătorii au descoperit acel neuron faimos dintr-o rețea de recunoaștere a imaginilor care părea să răspundă atât la fețele de pisici, cât și la fronturile de mașini? Acest lucru a fost prezentat ca dovadă că rețelele neuronale sunt fundamental haotice — că neuronilor individuali li se atribuă mai multe sarcini complet necorelate deoarece rețeaua rămâne fără spațiu.
Explicația se numea „superpoziție” — ideea că rețelele, atunci când sunt sub presiune, încep să suprapună concepte necorelate în neuroni unici, creând „noduri” încâlcite pe care trebuie să le descâlcim cu grijă pentru a înțelege orice.
Dar Stathopoulos susține că aceasta a fost o interpretare greșită. Când a urmărit cu adevărat ce se întâmpla, acel neuron pisică-mașină nu ascundea deloc concepte necorelate. Facea ceva mult mai logic: generaliza și compunea idei într-un mod obișnuit. „Ascunderea” nu ascundea nimic.
Neuronii nu erau încâlciți. Doar își făceau treaba într-un mod care părea ciudat sub o lumină slabă.
Modelul care este, de fapt, lizibil
Iată unde devine cu adevărat interesant. Stathopoulos a antrenat ceea ce el numește o rețea neuronală „non-trivială” — una suficient de complexă pentru a fi relevantă — și a folosit designuri arhitecturale mai bune. Rezultatul?
Ninunale de la nouăzeci și nouă la o sută de la cento la sută dintre neuronii din stratul final au devenit ușor de interpretat.
Lăsați să procesați acest lucru pentru o clipă.
Nu „unele dintre ei”. Nu „dacă priviți cu multă atenție”. Aproape toți. Modelul este „largamente lizibil pe tot parcursul său”, în cuvintele lui. Poți, literalmente, să parcurgi și să înțelegi ce face fiecare neuron.
Și iată ce mi se pare fascinant: el a testat acest lucru pe o gamă uriașă de dimensiuni de modele, de la cele mici la cele mari. Interpretabilitatea nu a fost o proprietate specială a unui model de dimensiune perfectă. S-a confirmat pe toate planurile. Modelele mai mici folosesc doar concepte mai grosiere — un neuron ar putea acoperi conceptul de „mașini” în mod general — în timp ce modelele mai mari descompun acest lucru în distincții mai specifice. Dar ambele sunt perfect de înțeles.
Ce s-te-a schimbat?
Deci, ce a făcut diferența? Două lucruri, apparent:
În primul rând, modelul original (numit InceptionV1) pe care l-au studiat toți avea probleme arhitecturale în straturile sale ulterioare. Acestea erau pline de informații în moduri care chiar le făceau haotice. Aceasta nu era o proprietăție inerentă a rețelelor neuronale — era un bug.
În al doilea rând, instrumentele noastre de „privit” în aceste rețele erau destul de primitive. Când ai doar o lanternă, totul pare a fi umbre.
Îmbunătățirile moderne ale arhitecturii rețelelor neuronale — concepute în principal pentru a ajuta straturile profunde să învețe mai bine — au avut un efect secundar fericit: au făcut rețelele mai ușor de interpretat în mod natural. Nu încercam să rezolvăm problema interpretabilității. Am rezolvat-o accidental în timp ce rezolvam alte probleme.
Ce înseamnă acest lucru pentru siguranța IA
Acest lucru contează enorm pentru cercetarea siguranței IA, chiar dacă detaliile tehnice pot părea abstracte.
Dacă rețelele neuronale sunt cu adevărat incomprehensibile — adevărate cutii negre — atunci asigurarea faptului că se comportă în siguranță este incredibil de greu. Încerci să verifici ceva ce, fundamental, nu poți înțelege.
Dar dacă aceste sisteme sunt, de fapt, destul de lizibile, cu neuroni care fac lucruri semnificative și identificabile? Aceasta este o situație complet diferită. Îi putem studia direct. Putem înțelege la ce sunt atenți, ce concepte construiesc, cum curg deciziile prin sistem.
Acest lucru nu înseamnă că IA este brusc „sigură” — mai este o muncă enormă de făcut. Dar înseamnă că avem o șansă reală de a înțelege ce construim. Și asta nu este nimic.
Concesia onestă
Trebuie să apreciez onestitatea intelectuală de aici. Stathopoulos recunoaște explicit că a petrecut ani de zile studiind aceste sisteme și că a crezut explicația „superpoziției”. Era convins că rețelele sunt încâlcite și că vom avea nevoie de instrumente elaborate de reconstrucție pentru a le putea înțelege vreodată.
A greșit. Și spune asta direct, cu dovezi care să îi susțină.
Aceasta este felul de lucru care îmi oferă speranță pentru acest domeniu. Nu pentru că am rezolvat alinierea IA (nu o facem), ci pentru că sugerează că putem face într-adevăr progrese în înțelegerea acestor sisteme. Nu trebuie să operăm în întuneric.
Rețelele au fost întotdeauna mai clare decât am crezut. Doar am avut nevoie de ochi mai buni.
Voi ce credeți? Aceasta vă schimbă modul în care priviți sistemele de IA? Sunt cu adevărat curios — lăsați un comentariu mai jos și hai să vorbim despre asta.