Comments 31
Очень интересно и познавательно!
Спасибо.
Спасибо.
От себя добавлю, что описанные в статье алгоритмы работы со звуком интересны еще и как альтернативный способ реализации аудиокодеков.
Когда будет свободное время, постараюсь подробно описать, как происходит кодирование и обработка звука в виде разреженного битового вектора и как это может использоваться на практике.
Когда будет свободное время, постараюсь подробно описать, как происходит кодирование и обработка звука в виде разреженного битового вектора и как это может использоваться на практике.
Если интересен другой взгляд на нейрофизиологию мозга, то у нас в Институте психологии РАН есть лаборатория психофизиологии им. В. Б. Швыркова. (заведующий — профессор Ю. И. Александров). Там ребята проводят реальные эксперименты над мозгом. И они предлагают другой взгляд на функционирования мозга. Есть хорошие лекции профессора Александров на youtobe, где он рассказывает о работе мозга, об истории развитии взгляда на мозг. В каких экспериментах реактивная модель (предложенная автором статьи) мозга не способна описать физические процессы происходящие в голове. О роли генетических механизмов в формировании долгосрочной памяти. О том, что нейронная клетка живая и активная, и даже активно запускает механизмы самоуничтожения, если не способна принести пользу организму при решении задачи.
Помню читал на хабре статью, что человеческий слух различает то, что по теореме Котельникова (если мне не изменяет память, могу ошибаться) не может в принципе. То есть слух не использует разложение в ряд Фурье ни в каком виде, а работает с исходными нелинейностями как есть. Поэтому проводить аналогию со слухом, наверное, не совсем корректно.
Сложная форма каналов улитки создает такую механику в которой в колебании волосков могут проступать различные звуковые свойства. Амлитудно-частотное разложение — этот только часть, взятая как самый понятный пример.
Вообще же, все очень интересно не тоько с геометрией улитки, но и наружного уха. Такая хитрая форма ушей у нас не с проста. Так, пара ушей позволяет по разности фаз определять направление сигнала. Но только в плоскости. Выше-ниже уже не ловится. Похоже, что форма ушей несколько меняет фазы высокочастотной составляющей сигнала в зависимости от высоты источника. Зная правила изменения, можно восстановить высоту и соответвенно получить 3D направление.
Вообще же, все очень интересно не тоько с геометрией улитки, но и наружного уха. Такая хитрая форма ушей у нас не с проста. Так, пара ушей позволяет по разности фаз определять направление сигнала. Но только в плоскости. Выше-ниже уже не ловится. Похоже, что форма ушей несколько меняет фазы высокочастотной составляющей сигнала в зависимости от высоты источника. Зная правила изменения, можно восстановить высоту и соответвенно получить 3D направление.
Можно предположить, что в случае резкой границы, присутствующей на изображении, тремор обеспечивает пересечение этой границей чувствительной области колбочек, а значит, делает эту границу видимой для них. Это может быть существенно, если изображение предъявляется кратковременно и эту функцию не успевает выполнить глазной дрейф.
Вроде бы не получается. Дифракционный предел оптической системы глаза составляет 1 угловую минуту, что соответствует угловому размеру колбочки/палочки, наблюдаемой из хрусталика. Иными словами, размер кружка Эйри на сетчатке примерно равен линейным размерам светочувствительных клеток. А значит «чёткая граница» в изображении будет нечёткой, перекрывающей пару соседних клеток.
Возможно, тремор это просто следствие работы глазодвигательных мышц. Как любая механическая система, у них есть предельная точность позиционирования. Эволюция довела эту точность до разрешения глаза — 1 угловой минуты — а точнее уже и не требуется.
1 угловая минута — это среднее расстояние между колбочками. Сами колбочки много меньше, между ними большие пустоты. Ниже картинка, она не для цетральной ямки, но дает представление о размерах. Когда дрейф приблизительно совпадает с направлением тонкой линии многие колбочки оказываются «не у дел». Чтобы не было выпадания в таких случаях помогает тремор. Он сдвигает (размывает) изображение на ширину шага между колбочками в направлении перпендикулярном дрейфу (и, соответсвенно, тонкой линии), что делает тонкую линию видимой для этих колбочек.
Как ганглиозная клетка различает свои синапсы центра от синапсов периферии?
Не очень понял вопрос.
Рецептивное поле ганглиозной клетки делится на центральную область и периферию. То есть, в дендритном дереве ганглиозной клетки есть синапсы (соединения) с биполярными клетками центральной области и синапсы с биполярными клетками периферии. Чтобы г. клетка реагировала как клетка ON-OFF, ей необходимо сравнивать возбуждение от синапсов, связанных с центральной областью, с возбуждением от синапсов, связанных с периферией.
Чтобы сравнить, необходимо в первую очередь разделить синапсы на две группы (связанные с центральной областью и с периферией). Вопрос в том, — как клетка это делает?
Чтобы сравнить, необходимо в первую очередь разделить синапсы на две группы (связанные с центральной областью и с периферией). Вопрос в том, — как клетка это делает?
Причём, это самый простой вопрос ) Для ганглиозных клеток, избирательно реагирующих на сторону затенения периферии (с дирекционной чувствительностью), им нужно не только делить синапсы на центральные и периферические, но и сами периферические делить на две зоны — та, с которой приходит затенение, и та, что должна оставаться освещённой.
Я так представляю, что у ганглиозной клетки должна быть сложная пространственная организация дендритного дерева. Типа три ветви: с синапсами центральной области, синапсами затенённой периферийной области и синапсами освещённой периферийной области.
Я так представляю, что у ганглиозной клетки должна быть сложная пространственная организация дендритного дерева. Типа три ветви: с синапсами центральной области, синапсами затенённой периферийной области и синапсами освещённой периферийной области.
Вот взял ваш рисунок и раскрасил. Зелёным — биполярные клетки, связанные с периферией, красным — с центральной областью. Чтобы ганглиозная клетка среагировала как ON, надо чтобы синапс с «красной» биполярной клеткой был активен, а синапсы с «зелёными» клетками — нет. Но для этого надо знать к какой области относится каждый синапс.
Есть хорошая статья «Space–time wiring specificity supports direction selectivity in the retina»
(Jinseop S. Kim1*, Matthew J. Greene1*, Aleksandar Zlateski2, Kisuk Lee1, Mark Richardson1{, Srinivas C. Turaga1{,Michael Purcaro1, Matthew Balkam1, Amy Robinson1, Bardia F. Behabadi3, Michael Campos3, Winfried Denk4,H. Sebastian Seung1{ & the EyeWirers5).
Основная идея в том, что угол детектируется не по рецептиному полю, а во время движения глаза по последовательности срабатывания рецепторов.
Когда мы только начинали моделирование, то сделали для ганглиозных клеток матрицы-шаблоны, соответсвующие границам под различными углами. Оказалось, что результат очень плохой. Маленькая матрица — невозможно поймать угол (ганглиозные клетки хотя и широкие детекторы, но требуют многообразия на краях диапазона, а тут получаются резкие скачки). Большая матрица — начинаются игры с масштабом исходного изображения, чтобы не захватить слишком большие фрагменты. Кроме того матрица с образом границы не слижком хороший детектор границы (хороший детектор — детектор, основанный на контрасте центра и перефериии).
В результате перешли на почти точное воспроизведение биологии. Смоделировали дрейф, сделали детекторы границы («центр-петерферия» — аналог биполярных клеток), угол определяется по последовательности срабатывания детекторов границ по ходу дрейфа. Результат оказался очень неплохим. Подробнее рассказать об этом и привести код может Дима Шабанов.
(Jinseop S. Kim1*, Matthew J. Greene1*, Aleksandar Zlateski2, Kisuk Lee1, Mark Richardson1{, Srinivas C. Turaga1{,Michael Purcaro1, Matthew Balkam1, Amy Robinson1, Bardia F. Behabadi3, Michael Campos3, Winfried Denk4,H. Sebastian Seung1{ & the EyeWirers5).
Основная идея в том, что угол детектируется не по рецептиному полю, а во время движения глаза по последовательности срабатывания рецепторов.
Когда мы только начинали моделирование, то сделали для ганглиозных клеток матрицы-шаблоны, соответсвующие границам под различными углами. Оказалось, что результат очень плохой. Маленькая матрица — невозможно поймать угол (ганглиозные клетки хотя и широкие детекторы, но требуют многообразия на краях диапазона, а тут получаются резкие скачки). Большая матрица — начинаются игры с масштабом исходного изображения, чтобы не захватить слишком большие фрагменты. Кроме того матрица с образом границы не слижком хороший детектор границы (хороший детектор — детектор, основанный на контрасте центра и перефериии).
В результате перешли на почти точное воспроизведение биологии. Смоделировали дрейф, сделали детекторы границы («центр-петерферия» — аналог биполярных клеток), угол определяется по последовательности срабатывания детекторов границ по ходу дрейфа. Результат оказался очень неплохим. Подробнее рассказать об этом и привести код может Дима Шабанов.
Маленькая матрица — невозможно поймать угол
Вы имеете в виду ситуацию, когда матрица размером 6 пикселей, и переход с черного на белое на изображении тоже примерно такой же ширины?
И я правильно понимаю, что если сделать размер слоя с детекторами границ равным исходному изображению, т.е. рецептивные поля соседних детекторов смещены на 1 пиксел, то тремор при дрейфе будет не нужен?
На матрице 5 на 5 можно задать вертикальную границу, горизонтальную границу и углы кратные 45 градусам, на остальное не хватает разрешения.
В центральной ямке глаза в центре рецептивного поля одна колбочка, то есть смещение как раз от поля к полю на 1 элемент. Колбочка не занимают всю площадь центра поэтому тонкая линия (не граница) может ее не пересеч. Если направление линии совпадет с направлением дрейфа, то линия может остаться невидимой для многих колбочек. Тремор исправляет эту ситуаццию, утолщая слишком тонкие линии до приемлемого размера.
В центральной ямке глаза в центре рецептивного поля одна колбочка, то есть смещение как раз от поля к полю на 1 элемент. Колбочка не занимают всю площадь центра поэтому тонкая линия (не граница) может ее не пересеч. Если направление линии совпадет с направлением дрейфа, то линия может остаться невидимой для многих колбочек. Тремор исправляет эту ситуаццию, утолщая слишком тонкие линии до приемлемого размера.
Подскажите еще пожалуйста, реакция "центр-периферия" у вас рассчитывается просто математически по исходному изображению, или имитируется работа биологических клеток? Интересует вопрос, как биполярная клетка обучается распознавать свой паттерн.
Когда говорят о детекторе границ различают две ситуации. Первая — есть четкая контрастная граница и надо ее определить. Вторая — есть градиентный переход яркости и хочется провести вместо него «воображаемую» границу. Мозг делает первое и не делает второе. Вместо замены градиента границей создается код, который учитывает угол градиента и его величину. При этом, похоже, по мере усиления градиента код постепенно переходит в код резкой границы.
При создании такого алгоритма получается систему которую трудно без дополнительных экспериментов сравнивать с реальной сетчаткой. Когда есть несколько слоев сильно связанных клеток им можно приписать все что угодно.
При создании такого алгоритма получается систему которую трудно без дополнительных экспериментов сравнивать с реальной сетчаткой. Когда есть несколько слоев сильно связанных клеток им можно приписать все что угодно.
Биполяр ничему не обучается. Функция задаётся топологией дендритных деревьев и типами синапсов. Биполяр соединяется с группой рецепторов, которые и составляют центр рецептивного поля биполяра (и, следовательно, ганглиозной клетки). Горизонтальные клетки создают периферию рецептивных полей биполяров. На биполяре (on-типа) сходятся два сигнала, возбуждающий от рецепторов и тормозящий от горизонтальной клетки. Уровни складываются.
На мой инженерный взгляд ганглиозные клетки нужны, в основном, для передачи сигнала биполяров на большое расстояние. Они кодируют импульсами (пачка ПД) градуальный сигнал биполяров.
здесь подробно описано про биполяры, читать лучше с начала главы
http://ours-nature.ru/lib/b/book/4110115645/21
На мой инженерный взгляд ганглиозные клетки нужны, в основном, для передачи сигнала биполяров на большое расстояние. Они кодируют импульсами (пачка ПД) градуальный сигнал биполяров.
здесь подробно описано про биполяры, читать лучше с начала главы
http://ours-nature.ru/lib/b/book/4110115645/21
Я уже писал в статье, что закодировать импульсами градуальный сигнал при тех частотах, что свойственны ганглиозным клеткам невозможно. После того как Хьюбел написал свою великую книгу «Глаз, мозг, зрение» (ссылку на нее вы даете) было получено достаточно много данных, заставляющих более глубоко задуматься над функциями сетчатки. Сам Хьюбел не настаивал на частотном кодировании, он писал, что не понятно к чему ближе работа нейронов к «аналоговому» или «цифровому» принципу. Сам он склонялся к «аналоговому», объясняя это тем, что тут хоть что-то можно объяснить, в то время как, относительно «цифры» нет вообще никаких идей.
Неправильно выразился. Не «кодируют» в информационном смысле. Речь о преобразовании. Я имел в виду тот факт, что сам биполяр не в состоянии передать свой градуальный сигнал в глубь мозга, он просто потеряется на такой длине. Поэтому безотносительно того кодируется как-то сигнал или с ним что-то другое делается в ганглиозной клетеке в любом случае этот сигнал необходимо перевести в импульсы, которые смогут без затухания пройти весь зрительный нерв.
А по поводу кодирования, по мне, судя по картинкам из той же книги Хьюбела, сигнал ганглиозной клетки скорее похож на да-нет. Есть разница освещения >=2% — клетка непрерывно разряжается; нет — молчит.
А по поводу кодирования, по мне, судя по картинкам из той же книги Хьюбела, сигнал ганглиозной клетки скорее похож на да-нет. Есть разница освещения >=2% — клетка непрерывно разряжается; нет — молчит.
Даже если реакции всех связей биполярных клеток обусловлены генетически, в чем я сомневаюсь, то все равно такая организация появилась в результате эволюции под действием каких-то законов взаимодействия. Они меня и интересуют.
Генетически задано «дендриту расти вверх на 1 мм и разветвиться, синапсы — возбуждающие, аксону на 2 мм вниз».
Повторюсь, даже если реакции и расположение биполярных и горизонтальных клеток заданы генетически, то все равно должен быть предок, у которого оно впервые появилось. Мутация с естественным отбором здесь маловероятна, потому что это только первый уровень обработки, и без приема сигналов на следующих от такого расположения сигналов пользы не больше, чем от любого другого. Гораздо более вероятно, что нервные клетки подстроились максимально реагировать под действием входного сигнала. Мне кажется, такой принцип самообучения позволит более точно понять работу клеток и на следующих уровнях.
Максимально реагировать — очень коварная формулировка. Я показываю, что сетчатке свойственно не стремиться к разнообразию ответов, а создавать коды, имеющие «преемственность».
Скажем так, максимально передавать информацию о входном сигнале. Если коды значит коды. Мне кажется, тут есть взаимосвязь с образованием групп, определяющих какую-то характеристику, наклон границы например. Скажем, клетка научилась узнавать горизонтальную границу, если наклон будет больше, будет меньше соответствия паттерну. Когда соответствие меньше половины, клетка перестает его узнавать, и этот паттерн запоминает соседняя с ней клетка. А результатом этого получается и будет код.
Я выше уже писал, что через «паттерны» и их соответсвие при моделировании получается достаточно плохой результат. Гораздо лучше все на детекторах границы/контраста с маленькими рецептивными полями и с последущим анализом последовательности срабатывания при движении (дрейфе). Что и заставляет провести аналогии между моделью и реальным глазом.
Скажите, а можно посмотреть исходный код кодирования/декодирования звукового сигнала (который делал Дмитрий Кашицын)?
Sign up to leave a comment.
Логика сознания. Часть 11. Естественное кодирование зрительной и звуковой информации