Исследователи разработали принципиально новую архитектуру нейросетей, которая работает лучше перцептрона

Вовсе не удивительно, что на основе аппроксимационной теоремы Колмогорова можно строить такие же функции в виде сетей, как и в случае MLP. MLP в свою очередь обосновываются аппроксимационной теоремой Хехта-Нильсена (и её обобщением на класс измеримых функций, данным Алексеевым).

Как в случае MLP, так и в случае KAN у нас доказывается сходимость представленной структуры в пространстве измеримых функций, но ничего не говорится об их оптимальности. По всей видимости это в принципе очень трудная проблема, сравнимая с задачами тысячелетия. Всё сравнивается с эффективностью на конкретных задачах, но не производится никаких обобщений. Таким образом мы просто метаемся от одного представления к другому, так и не исследовав глубокие морфологические свойства подобных разложений, не поняв структуру созданных сетей и то, как же всё-таки сопоставить классы всевозможных сетей с классами всевозможных функций, чем бы они не являлись.

del

Какой черри-пикинг.

Ну да, из полиномов можно собирать функции, круто.

А что там с простой кластеризацией и прочим? )

Где сравнения по размеру модели\качеству?

Где тесты хотя-бы для 10-20 классов обьектов (не только функции, но и картинки, простые многомерные данные и т.д.)?

P.S. как я понял, у них вышло значительно хуже чем просто поиск в пространстве функций :)

В лаборатории ИИ на ВЦ в Новосибирском Академгородке 30 лет назад была группа которая вела исследования в этом направлении. К сожалению их не удалось завершить - большая часть коллектива эмигрировала, суровые 90-е разрушили многое.

Тогда я заканчивал университет и немного общался с этими ребятами. Конечно в опубликованной работе MIT ушли дальше, а в то время было непросто провести все численные эксперименты и работа шла безусловно медленнее.
Забавно что только через 30 лет эта идея сформировалась во что-то конкретное.

Идея не нова, сейчас появляются разные инициативы по улучшению базовых принципов работы НС (например Джеффри Хилтон год назад предлагал новую архитектуру НС).
Основное преимущество KAN в том что за счёт замены активационной функции простым сумматором и усложнением весовой фенкции с простой линейной на сплайн-функцию достигается существенные улучшения по гибкости и точности.
Да, для одинакового размера сети, KAN сложнее в обучении чем MLP, но как показано в данной работе, KAN даёт существенно больший выигрыш при гораздо меньшем размере НС. То есть в итоге утверждается, что KAN лучше при тех же затратах на обучение.

Очень интересная работа кстати, почитайте их публикацию, там есть ссылка на их гитхаб, можно поэкспериментировать самому.

Ну вот, теперь появится возможность смешивать.

Выход MLP подать на вход KAN.
Выход KAN подать на вход MLP.
Сделать все узлы в MLP из KAN.
Не все узлы.
То же, но наоборот: пусть функции в KAN реализуются с помощью MLP.
Сетка, где левая половина (субсеть) KAN, а правая - MLP.

"Двести тысяч вариантов уже готовы, миллион на подходе"

Для меня странно что при всей мощи математики нейросети такие примитивные. Бывает захожу в википедию почитать про какую-нибудь теорию и мозг пухнет. Много незнакомых слов, непонятные закорючки. Не было у нас в ВУЗе такого. А вот вместо веса функцию использовать я лет 15 назад догадался. А еще можно вместо сумматора другие функции попробовать и функций активации побольше. Считаю современная математика может на порядок сложней архитектуры дать.

KAN продемонстрировала значительные преимущества в точности перед многослойным перцептроном. При этом для достижения равного результата размер таких сетей может быть значительно меньше по сравнению с MLP. Кроме того, за счет своей гибкости подход предоставляет новые возможности интерпретируемости сети.

Как-то писал комент на тему размера глубоких сетей, и что, возможно, это связано со сложностью функций биологических прототипов формальных нейронов. В исследованиях они часто моделируются целыми сетями таких нейроном, см. ссылку в коменте. По этой причине архитектуры ИНС могут содержать большое количество слоев, чтобы добиться сравнимой с биологическими сетями эффективности. Возможно KAN ближе к биологическим прототипам по свойствам и по этой причине сети из них более компактные, как заявляют авторы.

Макс Тегмарк кругом успевает. У него своя теория всего - математические вселенные, своя интерпретация кв. механики, свой научный ИИ им. Пуанкаре, теперь и новая архитектура ИНС. Пора нобеля выписывать, что-то там комитет зазевался, соотечественника гнобит) Результаты? Результаты потом будут..

В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт.

1. MLP - одна из множества архитектур нейронных сетей (самая базовая), коих существуют десятки

2. Нейронная сеть - одна из множества различных моделей, лежащих в основе глубокого обучения, cv и т.д.

   Таким образом, фраза выдает почти что нулевое знание и понимание области DS и ML.

   MLP - это только ОДНА из множества архитектур, ОДНОЙ из множества моделей.

   Всё равно что сказать: в основе всех домов лежат бревна...

А если посмотреть на это через призму теории связей, где и вершины и рёбра это связи. Получается можно сделать ещё один шаг и объединить оба подхода и исследовать на что способен общий случай.