Насколько я понял — исходные звуки не использовались как семплы, а использовались как исходный материал для обучения. В итоге мы должны получить не классификатор а генератор. При этом использовалась ограниченная выборка для барабанной палочки и элементов природы, для простоты.

Если говорить о статических нейронах ( не рекурентных), то тут вопрос — имеет ли смысл их усложнять или лучше оставить их максимально простыми, а сложности делать их комбинацией?

Как раз когда занимался этой статьёй наткнулся на мысль: Есть три функции активации — пороговая, линейная и сигмоид. Для того что бы выродить линейную в пороговую — нужны предельные значения весов. У сигмоида свои косяки — зона насыщения находится в бесконечности и также она не вырождается в пороговую. Соответственно мы имеем перед глазами наглую провокацию для методов обучения завышать веса. Хочется заполучить функцию, которая имеет помимо весов и порогов ещё два параметра — наклон (при нуле — вырождается в пороговую) и нелинейность (при нуле выражается в прямую). Тогда три функции активации будут лишь частным случаем этой функции.

Вы ничего не слышали о подобных функциях?

Лучше представлять это графически.



Два нейрона на скрытом слое — каждый рисует сою линию на входной плоскости.
Мы же видим их взаимодействие. Добавление ещё одного нейрона на скрытом слое добавит ещё одну линию

На таком фундаменте строится любое ПО :)

Это всё результат того, что ты спал на тех лабах, будучи со мной в бригаде. Мне пришлось это понять :))))

Берём сеть 2-2-1, (2 входа, 2 скрытых, 1 выход). Скрытые нейроны и выход — делаем «максималистами». Тоесть — дискретными. Если выходной нейрон будет реализовывать логическое «И» — тогда распознаваемая им область будет пересечением областей нейронов скрытого слоя. От сюда можно сделать свой Paint.exe с блекджеком итд :)

П.С. Заходите в мой профиль и нажимаете на конвертик сверху-справа, сразу после рейтинга.

Аналогично. Благодарю!

1) Если нужен просто порог — то вполне вероятно можно обойтись обычной линейной регрессией (исходных данных недостаточно чтобы понять актуальность этого).
Ежели вы хотите делать через НС — то обучать её относительно не долго. (опять таки неизвестен масштаб проблемы). Это может быть час или день, но не год.

2) Да, именно так. Мы обучили её разок — а потом используем просто как функцию с n входов, m выходов. Даже без GPU сетки разумных масштабов работают быстро.

Спасибо!

Я как раз думаю об этом. Можно остаться и в двухмерной плоскости — если входных суждений 2.

Если же на скрытом слое их много, то на этой плоскости можно рисовать двухмерные фигурки при классификации. И красить их в разные цвета, в зависимости от показаний выходных нейронов.

Не совсем понимаю, как это относится к НС.

Но честно скажу — полностью задачу я не понял.

Благодарю.

Тут встаёт вопрос — верно ли я понял ЦА. Разделение на хабр и ГТ, смущает и не понятно куда писать и с каким уровнем сложности. Стоит ли писать продолжение в ГТ или перейти в Хабр?

Благодарю вас! Надеюсь получится написать ещё что-то в этом стиле, и подобные комментарии помогают в этом.

вот тут неплохо описано как лучше всего инициализировать стартовые значения для обучения методом обратного распространения ошибки. Если вкратце, то веса и пороги берутся случайным образом из интервала (-0.5, 0.5), при этом желательно избегать близких к нулю значений.

В большинстве других методов обучения — примерно так же.

П.С. Как было бы круто если кто-то сделал бы это (*подмигивает). ТФКП так и остался мраком для меня с институтских времён…

По факту — это уже архитектура сети и зависит она только от вашего воображения.
— Можно сделать нейрон который будет давать 0.5 если прямо, 0 налево до упора и 1 до упора направо
— Можно сделать два нейрона — каждый будет тянуть в свою сторону, а машина поедет куда-то прямо (среднее).

В обоих вариантах нужно учить сеть, и вы затратите на это условно одинаковое количество времени, но во втором вы бонусом получаете меру «сомнения» сети относительно принятого решения.

Литературы не посоветую — НС, это развивающаяся в данный момент наука, следовательно самое вкусное — находится где-то в гугле.

Науч-поп без формул. В процессе написания я понял, что многим интересна эта тематика так же как и астрономия, но её незаслуженно побаиваются, так как не могут увидеть своими глазами, пощупать.

Прошу прощения, я не сразу понял задачу с «аксонным хомяком». Sadler прав. Это решается большим весом на входе от необходимого нейрона. Проблема лишь в том, что простые алгоритмы обучения не очень любят такую ситуацию. Если же использовать что-то более серьёзное — то без проблем.

Я бы использовал для «поиска» другую сеть. Эту лишь как оценочный механизм :)

Это как алфавит. В компьютерах могли использоваться троичные и другие н-ричные системы, но выбрали бинарную — ибо проще в реализации, а следовательно лучше масштабируется. Аналогичную мы видим сейчас на рынке процессоров, где Интелы, считающие за один такт очень много всего, хорошенько теснятся АРМ процессорами, такт которых — это некоторая элементарная операция. Тут тоже самое — легче влепить 10 или более примитивных нейронов, для описания одного нейрона мозга.

Начальник, который орёт на своих подчинённых, мол: «промах на 0.4 — да как вы смеете!» — те орут на своих, те на своих итд :) А локальный минимум — объяснить «бюрократией» и «боязнью ответственности»