Итак, я должен рассказать вам кое-что, что по-настоящему воодушевило меня на этой неделе, потому что это полностью перевернуло мое представление о том, как работает ИИ.
Долгое время я исходил из предположения, что нейронные сети — это, по сути, «черные ящики»: невероятно мощные, это уж точно, но фундаментально непостижимые. Мы их обучаем, они работают, и, честно говоря? Мы понятия не имеем, почему. Популярное мнение гласило, что эти системы впихивают так много информации в такое малое количество нейронов, что всё перемешивается и запутывается так, что в этом нет никакой логики.
Но вот в чем дело: а что, если это мнение было ошибочным?
Исследователь по имени Андреас Статопулос делает вещи, которые в области интерпретируемости ИИ звучат почти как бунт. Вместо того чтобы пытаться создавать сложные инструменты для «декодирования» того, что делают сети, он просто... посмотрел на них. Напрямую. С помощью более совершенных методов и современных моделей.
И то, что он обнаружил, по-настоящему поразительно.
Нейрон «кошка-машина» был не тем, чем мы его считали
Помните, как исследователи нашли тот знаменитый нейрон в сети распознавания изображений, который, казалось, реагировал и на морды кошек, И на передние части машин? Это преподносилось как доказательство того, что нейронные сети по своей природе хаотичны — что отдельным нейронам назначается множество совершенно не связанных задач, потому что сети не хватает места.
Это объяснение называлось «суперпозицией» — идеей о том, что сети под давлением начинают упаковывать несвязанные концепции в одни и те же нейроны, создавая запутанные «узлы», которые нам приходится тщательно распутывать, чтобы хоть что-то понять.
Но Статопулос утверждает, что это было неверное прочтение. Когда он на самом деле проследил за происходящим, выяснилось, что нейрон «кошка-машина» вовсе не скрывал несвязанные концепции. Он делал нечто гораздо более разумное: обобщал и комбинировал идеи обычным способом. Это «скрытие» ничего не скрывало.
Нейроны не были завязаны в узлы. Они просто выполняли свою работу так, что это выглядело странно при плохом освещении.
Модель, которую действительно можно прочитать
Вот здесь начинается самое интересное. Статопулос обучил то, что он называет «нетривиальной» нейронной сетью — достаточно сложной, чтобы иметь значение, — и использовал более совершенные архитектурные решения. Результат?
От девяноста девяти до ста процентов нейронов в финальном слое стали легко интерпретируемыми.
Вдумайтесь в это на мгновение.
Не «некоторые из них». Не «если очень сильно прищуриться». Почти все. Модель «в целом читаема на всем пути», по его словам. Вы можете буквально просмотреть её и понять, что делает каждый нейрон.
И вот что кажется мне захватывающим: он протестировал это на огромном диапазоне размеров моделей, от крошечных до больших. Интерпретируемость не была каким-то особым свойством идеально подобранной модели. Она подтвердилась во всех случаях. Меньшие модели просто используют более грубые концепции — один нейрон может отвечать за «машины» в широком смысле, — в то время как более крупные модели разбивают это на более специфические различия. Но и те, и другие абсолютно понятны.
Что изменилось?
Так что же создало разницу? Судя по всему, две вещи:
Во-первых, оригинальная модель (называемая InceptionV1), которую все изучали, имела архитектурные проблемы в своих поздних слоях. Они были переполнены информацией так, что это действительно создавало хаос. Это не было врожденным свойством нейронных сетей — это был баг.
Во-вторых, наши инструменты для «взгляда» на эти сети были довольно примитивными. Когда у вас есть только фонарик, всё кажется тенями.
Современные улучшения архитектуры нейронных сетей, разработанные в основном для того, чтобы помочь глубоким слоям лучше обучаться, имели приятный побочный эффект: они сделали сети более естественно интерпретируемыми. Мы не пытались решить проблему интерпретируемости. Мы случайно решили её, решая другие задачи.
Что это значит для безопасности ИИ
Это имеет огромное значение для исследований безопасности ИИ, даже если технические детали могут показаться абстрактными.
Если нейронные сети действительно непостижимы — настоящие черные ящики, — то обеспечить их безопасное поведение невероятно трудно. Вы пытаетесь проверить то, что фундаментально не можете понять.
Но если эти системы на самом деле вполне читаемы, а нейроны выполняют осмысленные, идентифицируемые действия? Это совсем другая ситуация. Мы можем изучать их напрямую. Мы можем понять, на чем они фокусируют внимание, какие концепции они выстраивают, как решения проходят через систему.
Это не значит, что ИИ внезапно стал «безопасным» — впереди еще огромная работа. Но это значит, что у нас есть реальный шанс понять, что именно мы строим. А это уже немало.
Честное признание
Я должен отдать должное интеллектуальной честности автора. Статопулос прямо признает, что потратил годы на изучение этих систем и верил в объяснение с «суперпозицией». Он был убежден, что сети запутаны и что нам понадобятся сложные инструменты реконструкции, чтобы когда-нибудь во всем этом разобраться.
Он ошибся. И он говорит об этом прямо, подкрепляя это доказательствами.
Именно такие вещи вселяют в меня надежду на будущее этой области. Не потому, что мы решили проблему согласования ИИ (мы её еще не решили), а потому, что это говорит о возможности реального прогресса в понимании этих систем. Нам не обязательно действовать в темноте.
Сети всегда были чище, чем мы думали. Нам просто нужны были глаза получше.
Что вы об этом думаете? Изменит ли это ваш взгляд на системы ИИ? Мне действительно интересно — пишите комментарии ниже, и давайте обсудим.