Comments 6
Мое субъективное мнение: Подобную задачу экстраполяции решают жидкие нейронные сети .
---------------------------
Вопрос: А Вы не пробовали без нейронных сетей решить задачу экстраполяции путем фильтрации сигнала или методом главных компонент.
Ну или хотя бы брать первичные признаки в спектральной области.
когда-то изучал МГУА. Для периодических функций там был специальный алгоритм - "Гармонический".
Периодическая модель представлялась в виде суммы моделей: гармонический тренд и остаток .
Полагаю, если мы уверены что моделируем периодический процесс (как энергопотребление), то можно смоделировать тренд другим алгоритмом, а с остатком уже баловаться различными нейронками.
Что-то не очень исправило. Примеры из статьи на тоненького.
Естественно сетки интерполируют, как и все остальные алгоритмы. И брать тощую сетку и делать глобальные выводы... Спорно. К тому же есть два момента
рекуррентные выучивают периодические паттерны, и трансформеры тоже. Кстати они Тьюринг-полные, хотя и на relu, и это важно по мне как. Они выучивают "программу дата генерации",
экстраполяция - это та же интерполяция, только в пространстве без дрейфа. Статья - попытка перейти в это пространство. Не специфицируя его явно. Этим она хороша.
От прочтения вашей статьи тем не менее удовольствие испытал, и обогатился идеями, спасибо
Чуть дополню себя. Теорема странноватая, а вывод и без нее понятный...
Понятно что один слой с relu даст линейное преобразование практически - из-за bias. То что нелинейность важна - так в этом и суть сеток. Все это про частный случай сеток - которые и появились для нелинейности.
Но сама идея x + sin(x)**2 отличная, есть где поиграться. Я как-нибудь попробую relu(x + alpha * sin(x / alpha)**2). Рассчитываю что докинет, причем в более мелкую сетку.
Насчет "не могут" - неверно. Полносвязные предельно малой глубины возможно не могут. Но существует куча архитектур, от рекуррентных до сверточных, которые легко "могут". И существуют теоремки, которые доказывают, что узкие, но глубокие полносвязные сети тоже могут, в том числе и с сигмоидной и relu активациями. Иначе зачем-бы весь этот хайп вокруг нейронок.
А snake - да, интересная активация, пару лет как использую.
Нейронные сети не могут обобщать периодические зависимости. Как это исправить?