Добре, трябва да ви кажа нещо, което искрено ме вълнуваше тази седмица, защото напълно промени разбирането ми за това как работи изкуственият интелект (AI).
Дълго време работих с предположението, че невронните мрежи са по същество „черни кутии“ — невероятно мощни, разбира се, но фундаментално непостижими. Обучаваме ги, те работят и, честно казано? Нямаме представа защо. Популярното обяснение е, че тези системи набиват толкова много информация в толкова малко неврони, че всичко се заплита и смесва по начини, които нямат логичен смисъл.
Но ето какво: а ако това обяснение е грешно?
Изследовател на име Андреас Статополос прави нещо, което звучи почти бунтарски в сферата на интерпретируемостта на AI. Вместо да се опитва да създаде сложни инструменти за „декодиране“ на това, което мрежите правят, той просто... ги погледна. Директно. С по-добри методи и модерни модели.
И това, което откри, беше наистина изненадващо.
Невронът „Котка-Кола“ не беше това, което мислехме
Помните ли, когато изследователите откриха онзи известен неврон в мрежа за разпознаване на изображения, който изглеждаше, че реагира както на котешки лица, ТАКАЕ и на предни части на автомобили? Това се приемаше за доказателство, че невронните мрежи са фундаментално хаотични — че на отделни неврони се присвояват множество напълно несвързани задачи, защото мрежата изчерпва пространството си.
Обяснението се наричаше „суперпозиция“ — идеята, че мрежите, когато са под напрежение, започват да сгъват несвързани концепции в единни неврони, създавайки преплетени „възли“, които трябва внимателно да разплетем, за да разберем какво се случва.
Но Статополос твърди, че това е било грешно тълкуване. Когато той реално проследи какво се случва, този неврон „кола-котка“ изобщо не е криел несвързани концепции. Той е doing нещо много по-разумно: обобщава и съставя идеи по обикновен начин. „Скриването“ не е криело нищо.
Невроните не бяха заплетени. Те просто вършеха работата си по начин, който изглеждаше странно при лошо осветление.
Моделът, който всъщност е четивен
Ето къде става наистина интересно. Статопополос обучи това, което той нарича „нетривиална“ невронна мрежа — такава, която е достатъчно сложна, за да има значение — и използва по-добри архитектурни дизайни. Резултатът?
Девянодесет и девет до сто процента от невроните в последния слой станаха лесно интерпретируеми.
Осъзнайте това за момент.
Не „някои от тях“. Не „ако се вгледате много внимателно“. Почти всички. Моделът е „широко четивен по целия си път“, според неговите думи. Можете буквално да прегледате и да разберете какво прави всеки неврон.
И ето какво намирам за завладяващо: той тества това в огромен диапазон от размери на моделите, от малки до големи. Интерпретируемостта не беше специално свойство на модел с перфектен размер. Тя се запази навсякъде. По-малките модели просто използват по-груби концепции — един неврон може да покрива „автомобили“ широко — докато по-големите модели разлагат това на по-специфични разграничения. Но и двата варианта са напълно разбираеми.
Какво се промени?
Така че, какво направи разликата? Две неща, очевидно:
Първо, оригиналният модел (наричан InceptionV1), който всички бяха изучавали, имаше архитектурни проблеми в по-късните си слоеве. Те бяха препълнени с информация по начини, които наистина ги правеха хаотични. Това не беше вроденство свойство на невронните мрежи — беше бъг.
Второ, нашите инструменти за „гледане“ на тези мрежи бяха доста примитивни. Когато имаш само фенерче, всичко изглежда като сенки.
Съвременните подобрения в архитектурата на невронните мрежи — проектирани основно за това да помогнат на дълбоките слоеве да учат по-добре — имаха страничен ефект: те направиха мрежите по-естествено интерпретируеми. Не се опитвахме да решим проблема с интерпретируемостта. Случайно го решихме, докато решавахме други проблеми.
Какво означава това за безопасността на AI
Това има огромно значение за изследванията на безопасността на AI, дори ако техническите детайли изглеждат абстрактни.
Ако невронните мрежи са наистина непостижими — истински черни кутии — тогава гарантирането, че те се държат безопасно, е невероятно трудно. Опитвате се да проверите нещо, което фундаментално не можете да разберете.
Но ако тези системи всъщност са доста четивни, с неврони, които вършат смислени, идентифицируеми неща? Това е съвсем различна ситуация. Можем да ги изучаваме директно. Можем да разберем на какво обръщат внимание, какви концепции изграждат, как решенията преминават през системата.
Това не означава, че AI внезапно е „безопасен“ — все още има огромна работа за вършене. Но това означава, че имаме реален шанс да разберем какво изграждаме. А това не е нищо по-малко.
Честното признание
Трябва да оценя интелектуалната честност тук. Статополос изрично признава, че е прекарал години в изучаване на тези системи и е вярвал в обяснението за „суперпозицията“. Той беше убеден, че мрежите са заплетени и че ще ни трябват сложни инструменти за реконструкция, за да ги разберем някога.
Грешише. И той го казва директно, с доказателства в подкрепа.
Това е видът нещо, което ми дава надежда за тази област. Не защото сме решили проблема с подравняването на AI (не сме), а защото подсказва, че всъщност можем да постигнем напредък в разбирането на тези системи. Не е необходимо да работим в тъмното.
Мрежите винаги са били по-чисти, отколкото сме мислели. Просто ни бяха нужни по-добри очи.
Какво мислите вие? Променя ли това начина, по който гледате на системите с AI? Искрено ме интересува — оставете коментар отдолу и да поговорим за това.