Tamam, bu hafta beni gerçekten heyecanlandıran bir şeyi anlatmam gerekiyor, çünkü yapay zekanın nasıl çalıştığına dair anlayışımı tamamen tersine çevirdi.
Uzun zamandır, sinir ağlarının esasen "kara kutular" olduğu varsayımıyla hareket ediyordum — inanılmaz derecede güçlüler, evet, ama temel olarak anlaşılmazlar. Onları eğitiyoruz, çalışıyorlar ve dürüst olmak gerekirse? Neden çalıştıklarına dair hiçbir fikrimiz yok. Popüler anlatı, bu sistemlerin o kadar az sayıda nörona o kadar çok bilgi sığdırdığı yönündeydi ki, her şey mantıksal bir anlam ifade etmeyecek şekilde birbirine dolanıyor ve karışıyordu.
Ama işin aslı şu: Ya bu anlatı yanlışsa?
Andreas Stathopoulos adında bir araştırmacı, yapay zeka yorumlanabilirliği (interpretability) alanında neredeyse isyankar sayılabilecek bir şey yapıyordu. Ağların ne yaptığını "kodlarını çözmek" için karmaşık araçlar inşa etmeye çalışmak yerine, sadece... onlara baktı. Doğrudan. Daha iyi yöntemler ve modern modellerle.
Ve bulduğu şey gerçekten şaşırtıcıydı.
Kedi-Araba Nöronu Sandığımız Gibi Değildi
Araştırmacıların, bir görüntü tanıma ağında hem kedi yüzlerine HEM DE araba önlerine tepki veriyor gibi görünen o meşhur nöronu bulduklarını hatırlıyor musunuz? Bu durum, sinir ağlarının temelden karmaşık olduğunun — ağda yer kalmadığı için bireysel nöronlara tamamen alakasız birden fazla görevin atandığının bir kanıtı olarak sunulmuştu.
Bu açıklamanın adı "süperpozisyon" (superposition) idi — ağların, baskı altında kaldıklarında alakasız kavramları tek bir nöronda birleştirmeye başladığı ve bir şeyi anlamak için dikkatlice çözmemiz gereken karmaşık "düğümler" oluşturduğu fikri.
Ancak Stathopoulos bunun bir yanlış okuma olduğunu savunuyor. Neler olup bittiğini gerçekten takip ettiğinde, o araba-kedi nöronu aslında alakasız kavramları gizlemiyordu. Çok daha mantıklı bir şey yapıyordu: Fikirleri sıradan bir şekilde genelleştiriyor ve birleştiriyordu. "Gizleme" aslında hiçbir şeyi gizlemiyordu.
Nöronlar düğümlenmiş değildi. Sadece işlerini, zayıf ışık altında tuhaf görünecek bir şekilde yapıyorlardı.
Aslında Okunabilir Olan Model
İşte işin gerçekten ilginçleştiği yer burası. Stathopoulos, "önemsiz olmayan" (non-trivial) —yani gerçekten önemli olacak kadar karmaşık— bir sinir ağı eğitti ve daha iyi mimari tasarımlar kullandı. Sonuç mu?
Son katmandaki nöronların yüzde doksan dokuzundan yüzde yüze kadarı kolayca yorumlanabilir hale geldi.
Bunu bir an için sindirin.
"Bazıları" değil. "Gözlerinizi iyice kısarsanız" değil. Neredeyse tamamı. Kendi ifadesiyle model, "tüm yol boyunca geniş ölçüde okunabilir" durumda. Kelimenin tam anlamıyla nöronların her birinin ne yaptığını inceleyebilir ve anlayabilirsiniz.
Ve bulduğum en büyüleyici şey şu: Bunu, küçüklükten büyüklüğe çok geniş bir model boyutu aralığında test etti. Yorumlanabilirlik, mükemmel boyutlandırılmış bir modelin özel bir özelliği değildi. Her alanda geçerliydi. Küçük modeller sadece daha kaba kavramlar kullanıyordu —bir nöron geniş anlamda "arabaları" kapsayabiliyordu— daha büyük modeller ise bunu daha spesifik ayrımlara bölüyordu. Ancak her ikisi de mükemmel derecede anlaşılabilirdi.
Ne Değişti?
Peki farkı yaratan neydi? Görünüşe göre iki şey:
Birincisi, herkesin üzerinde çalıştığı orijinal modelin (InceptionV1 olarak adlandırılır) son katmanlarında mimari sorunlar vardı. Bilgi, gerçekten de onları kaotik hale getirecek şekilde taşıyordu. Bu, sinir ağlarının doğasında olan bir özellik değildi; bir hataydı (bug).
İkincisi, bu ağlara "bakmak" için kullandığımız araçlar oldukça ilkeldi. Elinizde sadece bir el feneri varsa, her şey gölge gibi görünür.
Sinir ağı mimarisine yapılan modern iyileştirmeler —esas olarak derin katmanların daha iyi öğrenmesine yardımcı olmak için tasarlanmış olanlar— mutlu bir yan etkiye sahipti: ağları doğal olarak daha yorumlanabilir hale getirdiler. Yorumlanabilirlik sorununu çözmeye çalışmıyorduk; diğer sorunları çözerken bunu tesadüfen çözdük.
Bu Yapay Zeka Güvenliği İçin Ne Anlama Geliyor?
Teknik detaylar soyut görünse de, bu durum yapay zeka güvenliği araştırmaları için devasa bir önem taşıyor.
Eğer sinir ağları gerçekten anlaşılmazsa —gerçek kara kutularsa— onların güvenli bir şekilde davranmasını sağlamak inanılmaz derecede zordur. Temelde anlayamadığınız bir şeyi doğrulamaya çalışıyorsunuzdur.
Ancak bu sistemler, anlamlı ve tanımlanabilir şeyler yapan nöronlara sahip olup aslında oldukça okunabilir durumdaysalar? İşte o zaman durum tamamen değişir. Onları doğrudan inceleyebiliriz. Neye dikkat ettiklerini, hangi kavramları inşa ettiklerini, kararların sistem içinde nasıl aktığını anlayabiliriz.
Bu, yapay zekanın aniden "güvenli" olduğu anlamına gelmiyor; hala yapılacak devasa işler var. Ancak bu, inşa ettiğimiz şeyi anlama konusunda bir şansımız olduğu anlamına geliyor. Bu az şey değildir.
Dürüst Bir İtiraf
Buradaki entelektüel dürüstlüğe hayran kalmam gerekiyor. Stathopoulos, bu sistemleri incelemek için yıllarını harcadığını ve "süperpozisyon" açıklamasına inandığını açıkça kabul ediyor. Ağların düğümlendiğine ve onları anlamak için karmaşık yeniden yapılandırma araçlarına ihtiyaç duyacağımıza ikna olmuştu.
Yanılmıştı. Ve bunu, arkasındaki kanıtlarla birlikte doğrudan söylüyor.
İşte bu tür şeyler, bu alan için bana umut veriyor. Yapay zeka hizalamasını (AI alignment) çözdüğümüz için değil, bu sistemleri anlamak konusunda gerçekten ilerleme kaydedebileceğimizi gösterdiği için. Karanlıkta çalışmak zorunda değiliz.
Ağlar her zaman düşündüğümüzden daha temizdi. Sadece daha iyi gözlere ihtiyacımız vardı.
Siz ne düşünüyorsunuz? Bu, yapay zeka sistemlerine bakış açınızı değiştirir mi? Gerçekten merak ediyorum; aşağıya bir yorum bırakın ve üzerine konuşalım.