Comments 40
UFO just landed and posted this here
Можно ли сделать оценку информационной ёмкости мозга, поделив площадь неокортекса на площадь одной колонки? По идее результат можно с оговорками трактовать как максимальное количество образов или понятий, которыми может оперировать мозг. Интересно, какой порядок у этой оценки…
В следующей части я дам мою оценку информационной емкости мозга, подождите немного.
Но если мозг — аналоговая система, разве можно судить об его информационной емкости?
Информация же может присутствовать в аналоговых системах? Логично предположить, что в аналоговых системах сохраняется свойство информации — емкость.
Но разве там она не континуум?
Опять-таки, информацию можно в разном виде представить. Никто не предлагает считать ее в гигабайтах :)
Теоретически, в аналоговом состоянии можно сохранить континуальное количество информации (конечно, если забыть про существование электронов как единиц заряда, а потом вспомнить про квантовые состояния), но на практике, нужно ещё и считывающее устройство, позволяющее эти состояния различать для считывания. На МОП-транзисторе в микросхеме тоже состояния теоретически аналоговые, но различаются только два уровня.
Аналогично, в жестком диске информация хранится в магнитных полях каждого атома, но считывают магнитные кластеры, потому что на кластерах успешно можно осуществлять запись и последующее чтение, а на отдельных атомах нет гарантии, что прочитаем одно и то же (и то, что записали). Теоретически, состояние атома — это тоже информация, но понятие ёмкость для практических целей обычно определяется не как количество возможных состояний, а как логарифм количества успешно сохраняемых и считываемых состояний.
Аналогично, в жестком диске информация хранится в магнитных полях каждого атома, но считывают магнитные кластеры, потому что на кластерах успешно можно осуществлять запись и последующее чтение, а на отдельных атомах нет гарантии, что прочитаем одно и то же (и то, что записали). Теоретически, состояние атома — это тоже информация, но понятие ёмкость для практических целей обычно определяется не как количество возможных состояний, а как логарифм количества успешно сохраняемых и считываемых состояний.
Но ведь «исполнительные механизмы» и «проводники» в организме — аналоговые. Вряд ли считыватель при таком подходе цифровой, тогда опять ЦАП нужно ставить.
Мало того, что проводники и исполнительные устройства аналоговые, там есть ещё и динамический аспект — считать ли импульс, отправленный во второй раз на 10 или 100 микросекунд позже, чем в первый раз, той же самой информацией? Сколько бит/с у этих модемов? В цифровых электронных схемах обычно используется тактовая частота, относительно которой всё измеряется. В подобной импульсной схеме считыватель должен учитывать и динамический аспект.
Но, я думаю, у Алексея будет некоторая теоретическая оценка статической ёмкости, и когда автор её опишет, тогда и посмотрим, какой виртуальный считыватель там подразумевается (и что там будет в роли единиц хранения информации). Мне кажется, нет смысла оценивать максимальную потенциально возможную статическую или динамическую ёмкость (такие оценки уже есть давным давно), зато интересно оценить ёмкость в каких-нибудь более крупных единицах, например, сколько образов может хранить мозг, или сколько понятий.
Но, я думаю, у Алексея будет некоторая теоретическая оценка статической ёмкости, и когда автор её опишет, тогда и посмотрим, какой виртуальный считыватель там подразумевается (и что там будет в роли единиц хранения информации). Мне кажется, нет смысла оценивать максимальную потенциально возможную статическую или динамическую ёмкость (такие оценки уже есть давным давно), зато интересно оценить ёмкость в каких-нибудь более крупных единицах, например, сколько образов может хранить мозг, или сколько понятий.
Я помню, были исследования лет 10 назад, когда на перепрограммируемых микросхемах делали распознавание речи методом перебора с целевой функцией — эволюционным. И долго не могли понять, как работает то, что получилось — оно использовало, если не вру, внутреннюю индуктивность, то, что при «человеческом» дизайне не делалось никогда.
Эволюционные механизмы, думаю, принципиально работают с «реальными» вещами, с глубиной континуум. Инженерные же всегда «оцифрованы», иначе их нельзя спроектировать.
Потому я не верю что искусственный интеллект можно создать. Только воспитать :-)
Эволюционные механизмы, думаю, принципиально работают с «реальными» вещами, с глубиной континуум. Инженерные же всегда «оцифрованы», иначе их нельзя спроектировать.
Потому я не верю что искусственный интеллект можно создать. Только воспитать :-)
Давайте двигаться методом последовательных приближений.
Начнём с искусственного помощника.
Решим задачи распознавания картинок, видео, речи, понимания смысла текста.
И пусть он не будет на 100% совпадать с человеком по интеллекту, пусть ему не будет не хватать какой-то неведомой божественной/эволюционной частички, которая присутствует у человека, но зачастую он смог бы заменить человека, и со временем чтобы такие помощники смголи взять на себя почти всю работу людей.
Как вы считаете, такого помощника можно создать?
Начнём с искусственного помощника.
Решим задачи распознавания картинок, видео, речи, понимания смысла текста.
И пусть он не будет на 100% совпадать с человеком по интеллекту, пусть ему не будет не хватать какой-то неведомой божественной/эволюционной частички, которая присутствует у человека, но зачастую он смог бы заменить человека, и со временем чтобы такие помощники смголи взять на себя почти всю работу людей.
Как вы считаете, такого помощника можно создать?
Как только вы говорите о понимании смысла, вы поднимаете самый главные вопросы: что такое смысл, как его описать и как с ним работать? Собственно, цель этого цикла — это дать на них ответы.
Вот очень бы хотелось иметь хорошие ответы в том числе и на вопросы об описании и моделировании смысла. Это сейчас краеугольный камень для создания чего-то большего, чем современные deep learning системы, а тем более нежели системы, преимущественно основанные на ручных эвристиках, правилах и классическом machine learning. Но в практических работах все больше поднимаются частные вопросы и мелкие оптимизации процедур обучения из 80х годов. Особенно мне обидно за мою любимую область понимания текстов, там прогресс намного меньше чем в других областях, даже несмотря на бОльшие базы и новые подходы.
Конечно, уменьшение ошибок распознавания в определенной задаче на 20% это круто, но русские люди всегда мыслили более масштабно, копали глубже и докапывались до сути! :)
Конечно, уменьшение ошибок распознавания в определенной задаче на 20% это круто, но русские люди всегда мыслили более масштабно, копали глубже и докапывались до сути! :)
UFO just landed and posted this here
Автор, а есть ли рецензии или отзывы специалистов на вашу книгу? Хотелось бы с ними ознакомиться.
Самому хотелось бы :) Материал свежий выкладываю одновременно здесь и у себя на сайте. В течении месяца предстоит два выступления на профильных семинарах, возможно после этого будут отзывы.
Т.е. вы выпускаете книгу без получения на нее рецензий специалистов? Я правильно понимаю что и книга «Логика эмоций» тоже до сих пор не имеет ни отзывов, ни рецензий хотя выпущена в аж 3 года назад?
Лично мне кажется, что знания важны сами по себе. А не благодаря ярлыкам, которые на них навесили авторитетные лица.
Автор деньги не выпрашивает и лечением не занимается, да и комментирует свою теорию, как один из возможных вариантов, не утверждая, что все именно так и есть. Вообще, в этой области любой новый взгляд может быть полезным. Тем более, если натолкнет кого-то на мысль.
Автор деньги не выпрашивает и лечением не занимается, да и комментирует свою теорию, как один из возможных вариантов, не утверждая, что все именно так и есть. Вообще, в этой области любой новый взгляд может быть полезным. Тем более, если натолкнет кого-то на мысль.
Знания, разумеется, важны per se. Вопрос лишь в том можно ли назвать работы автора «знаниями» или это может быть некая фантазия на тему…
Полеты в космос тоже когда-то начинались с фантазий, планшеты сегодня тоже были фантазиями вчера. Так что конкретно в этих фантазиях на тему работы мозга нет ничего плохого.
Даже больше. Я читаю статьи с самого начала. Не пропустил не одной. На сегодняшний день у меня тоже много вопросов в голове, но тут очень важна идея. Это «новое» очень нужно сейчас. Нейронные сети в классическом понимании изучены вдоль и поперек и они не справляются на все 100% с теми задачами, которые мы хотим чтобы они решали (к примеру распознавание голоса).
А этот новый взгляд, возможно, при грамотной реализации даст нам гораздо больше понимания и долгожданного ИИ.
ЗЫ: мб я и несколько наивен =)
Даже больше. Я читаю статьи с самого начала. Не пропустил не одной. На сегодняшний день у меня тоже много вопросов в голове, но тут очень важна идея. Это «новое» очень нужно сейчас. Нейронные сети в классическом понимании изучены вдоль и поперек и они не справляются на все 100% с теми задачами, которые мы хотим чтобы они решали (к примеру распознавание голоса).
А этот новый взгляд, возможно, при грамотной реализации даст нам гораздо больше понимания и долгожданного ИИ.
ЗЫ: мб я и несколько наивен =)
Извините, но Вам кажется, что знания важны сами по себе без оценки, потому что Вы, видимо, не знакомы с тем как живет и работает научное сообщество. Критическая оценка и рецензирование идей/статей научным сообществом — это один из основных столпов, на которых сейчас стоит наука.
Пока все эти статьи выглядят потоком сознания. Это не означает, что в них нет какого-то здравого зерна. Но очень странно, что автор, находя время для написания этого бесчисленного количества статей на хабр (где в основной массе сидят не самые большие специалисты в своей области), почему то не может найти время (как он сам пишет в комментах к одной из предыдущих статей), чтобы написать какую-то внятную статью на хорошую профильную западную конференцию или в хороший журнал. Тогда все его идеи и результаты столкнутся с рецензентами, которые будут оценивать насколько они новы, перспективны, понятно сформулированы. Пока все эти статьи написаны в крайне ненаучном стиле, что собственно в сильной мере затрудняет их прочтение специалистами.
Пока все эти статьи выглядят потоком сознания. Это не означает, что в них нет какого-то здравого зерна. Но очень странно, что автор, находя время для написания этого бесчисленного количества статей на хабр (где в основной массе сидят не самые большие специалисты в своей области), почему то не может найти время (как он сам пишет в комментах к одной из предыдущих статей), чтобы написать какую-то внятную статью на хорошую профильную западную конференцию или в хороший журнал. Тогда все его идеи и результаты столкнутся с рецензентами, которые будут оценивать насколько они новы, перспективны, понятно сформулированы. Пока все эти статьи написаны в крайне ненаучном стиле, что собственно в сильной мере затрудняет их прочтение специалистами.
Все то, что мы не понимаем, воспринимается нами как поток сознания. Сталкиваясь с этим, возникает всегда один и тот же вопрос: надо ли тратить время и пытаться понять или оно того не стоит? И тут авторитетные рецензии и отзывы уважаемых людей действительно крайне важны. Количество научного и около научного спама столь велико, что только критическая оценка новых идей позволяет науке оставаться на плаву.
Насчет внятной статьи — все правильно, надо написать. Статьи на хабре — это зеркало материалов, которые я выкладываю у себя на сайте. Так как я уже подготовил этот текст, то время это особо не занимает. Поскольку материал написан в популярной манере, то может быть понятен и показаться интересным именно «технарям», живущим на хабре.
Так же не стоит переоценивать компетентность специалистов в области ИИ. Есть очень интересные и глубоко проработанные узкие направления, но на сегодня не существует ни одной концепции, объясняющей как работает мозг в целом. Узкая же специализация подчас только затрудняет восприятие перспективы.
Насчет внятной статьи — все правильно, надо написать. Статьи на хабре — это зеркало материалов, которые я выкладываю у себя на сайте. Так как я уже подготовил этот текст, то время это особо не занимает. Поскольку материал написан в популярной манере, то может быть понятен и показаться интересным именно «технарям», живущим на хабре.
Так же не стоит переоценивать компетентность специалистов в области ИИ. Есть очень интересные и глубоко проработанные узкие направления, но на сегодня не существует ни одной концепции, объясняющей как работает мозг в целом. Узкая же специализация подчас только затрудняет восприятие перспективы.
Если на основе идей предлагаемых Алексеем будет создан работающий (в каком либо виде) ИИ, научное сообщество само приползёт, без всяких публикаций. А если нет, то какая разница…
Помню, когда в своё время писал статьи в аспирантуре, там надо было опубликовать три штуки в одном из некоего списка считающихся научными журналов. Несколько раз ходил в редакцию, где мне говорили, что текст распечатан шрифтом не того кегля, высказывали совершенно бредовые замечания по смыслу (что неудивительно, т.к. главный редактор абсолютно не разбирался в специфике темы), и т.д.
Естественно люди разные бывают, и журналы тоже. Но точно также и здесь, на хабре, вполне могут быть высказаны грамотные замечания по существу публикуемого. И уж точно здесь их прочтёт (и, возможно, попытается использовать) больше людей, чем в каком-то бумажном журнале, онлайн версии статей которого, вероятно, нужно покупать за деньги.
Помню, когда в своё время писал статьи в аспирантуре, там надо было опубликовать три штуки в одном из некоего списка считающихся научными журналов. Несколько раз ходил в редакцию, где мне говорили, что текст распечатан шрифтом не того кегля, высказывали совершенно бредовые замечания по смыслу (что неудивительно, т.к. главный редактор абсолютно не разбирался в специфике темы), и т.д.
Естественно люди разные бывают, и журналы тоже. Но точно также и здесь, на хабре, вполне могут быть высказаны грамотные замечания по существу публикуемого. И уж точно здесь их прочтёт (и, возможно, попытается использовать) больше людей, чем в каком-то бумажном журнале, онлайн версии статей которого, вероятно, нужно покупать за деньги.
Выход простой — если у Вас качественное исследование не печатайте его в таких журналах. Если же это исследование не берут в нормальные журналы, то это повод задуматься о целесообразности тратить какое-то время на такие исследования или необходимости более ясно и строго описывать свои идеи и результаты.
Количество людей, которые ознакомятся с вашими идеями безусловно играет критическую роль. Но еще более важно количество компетентных в этой области людей. Так как количество информации невероятно велико, в том числе в науке, то человек не в состоянии переработать все. Поэтому и существует некая градация журналов по качеству. В качественном журнале значительно выше вероятность найти интересную и полезную статью. Поэтому компетентные люди в основном читают качественные журналы.
Я очень далек от того, чтобы призывать к лишению человека права выражать свои идеи. Я просто хотел бы указать сообществу Хабра, что если у кого-то есть лишнее от работы время, то может быть стоит его потратить на чтение материала, который признан научным сообществом (а это уже неплохой показатель, хоть безусловно и не абсолютный). Такого материала просто море, в том числе Gerald Edelman, Karl Friston, Stanislas Dehaene, Jeff Hawkins, Петр Кузьмич Анохин и т.д. и т.п. Это не значит, что лично я считаю идеи всех упомянутых мною ученых правильными и многообещающими. Просто они уже прошли тот или иной отсев специалистами в этой области.
Количество людей, которые ознакомятся с вашими идеями безусловно играет критическую роль. Но еще более важно количество компетентных в этой области людей. Так как количество информации невероятно велико, в том числе в науке, то человек не в состоянии переработать все. Поэтому и существует некая градация журналов по качеству. В качественном журнале значительно выше вероятность найти интересную и полезную статью. Поэтому компетентные люди в основном читают качественные журналы.
Я очень далек от того, чтобы призывать к лишению человека права выражать свои идеи. Я просто хотел бы указать сообществу Хабра, что если у кого-то есть лишнее от работы время, то может быть стоит его потратить на чтение материала, который признан научным сообществом (а это уже неплохой показатель, хоть безусловно и не абсолютный). Такого материала просто море, в том числе Gerald Edelman, Karl Friston, Stanislas Dehaene, Jeff Hawkins, Петр Кузьмич Анохин и т.д. и т.п. Это не значит, что лично я считаю идеи всех упомянутых мною ученых правильными и многообещающими. Просто они уже прошли тот или иной отсев специалистами в этой области.
А что делать после того как ознакомился с материалами «признанные научным сообществом» и не нашел ответа. У меня на это простой ответ — беседовать. Никто при этом не заставляем кого-либо принимать участие в этой беседе.
Лично я опасаюсь, что эти идеи могут оказаться той дверью в сад… правда ключ забыли на столе и придется вырастать обратно. Если так, то это уникальная возможность ознакомиться с этими работами пока они доступны публично. Как только они признаются какой-либо лабораторий, то сразу будут недоступны для публики.
Никого не критикую и не осуждаю, лишь призываю к конструктивной беседе…
Лично я опасаюсь, что эти идеи могут оказаться той дверью в сад… правда ключ забыли на столе и придется вырастать обратно. Если так, то это уникальная возможность ознакомиться с этими работами пока они доступны публично. Как только они признаются какой-либо лабораторий, то сразу будут недоступны для публики.
Никого не критикую и не осуждаю, лишь призываю к конструктивной беседе…
Озадачили. Я как-то даже не задумывался о том, что должны быть рецензии. В основном, я занимаюсь компьютерным моделированием, а здесь критерий один — модель либо работает либо не работает.
Алексей, а все же, в вашей модели активность гиппокампа как-то фокусируется на новых воспоминаниях или дает метку всему, что происходит в данный момент в мозгу? Что тогда происходит со старыми воспоминаниями? Они помечаются еще раз? В принципе можно конечно найти некоторую корреляцию с тем что старые воспоминания, «поднятые» недавно становятся более «близкими» в когнитивном плане.
С моей точки зрения, эта статья так и не ответила на вопрос, чем отличаются новые воспоминания от старых с точки зрения гиппокампа.
С моей точки зрения, эта статья так и не ответила на вопрос, чем отличаются новые воспоминания от старых с точки зрения гиппокампа.
Пришлось вернуться в 7 лекцию
Не укладывается в голове, как фильтр Хебба работает для волновой модели. Изменение весов аналогично классической модели происходит
Например, мы можем превратить нейрон в фильтр Хебба и заставить его выделить главную компоненту, содержащуюся во входном потоке данных. По своему смыслу это будет выявление тех входов, на которых чаще всего входящие сигналы проявлялись совместно. Применительно к идентификационным волнам – это означает, что нейрон определит, какие волны обладают закономерностью появляться время от времени вместе, и настроит свои веса на узнавание этого сочетания. То есть, выделив такой фактор, нейрон станет проявлять вызванную активность, когда будет узнавать знакомое ему сочетание идентификаторов
Не укладывается в голове, как фильтр Хебба работает для волновой модели. Изменение весов аналогично классической модели происходит
за счет перехода рецептивных кластеров в устойчивое состояние?Действует ли в этом случае механизм латерального торможения?
Очень хорошие вопросы. Поскольку объяснение идет шаг за шагом от простого к сложному, то я объяснил работу простого и обобщенного фильтра Хебба, чтобы показать саму идею выделения факторов в нейронных сетях.
В волновых сетях теоретически любой небольшой участок коры можно рассматривать как самостоятельный обобщенный фильтр Хебба. Все нейроны следят приблизительно за одним и тем же пространством и видят одни и те же волновые картины. Латеральное торможение в этом случае позволяет сделать декорреляцию и растащить факторы. Нет принципиальной разницы как информация поступила на этот участок. Была ли она спроецирована с другого слоя или пришла в виде волны.
Усложнение которое сейчас надо сделать — это воспринимать не отдельный нейрон, как носитель фактора, а группу нейронов, образующих миниколонку и работающих совместно.
Обучение при выделении фактора происходит за счет изменения синаптических весов (синаптической пластичности) это другой механизм, несвязанный с метаботропгыми рецептивными кластерами.
В волновых сетях теоретически любой небольшой участок коры можно рассматривать как самостоятельный обобщенный фильтр Хебба. Все нейроны следят приблизительно за одним и тем же пространством и видят одни и те же волновые картины. Латеральное торможение в этом случае позволяет сделать декорреляцию и растащить факторы. Нет принципиальной разницы как информация поступила на этот участок. Была ли она спроецирована с другого слоя или пришла в виде волны.
Усложнение которое сейчас надо сделать — это воспринимать не отдельный нейрон, как носитель фактора, а группу нейронов, образующих миниколонку и работающих совместно.
Обучение при выделении фактора происходит за счет изменения синаптических весов (синаптической пластичности) это другой механизм, несвязанный с метаботропгыми рецептивными кластерами.
Забыл главное для чего начал писать ответ :)
Эти простые объяснения о выделении факторов очень слабо соответствуют тому как работает кора. Они нужны на начальном этапе, чтобы хоть как-то показать о чем вообще идет разговор. Позже я попробую показать более достоверный, но и более сложный механизм формирования понятий.
Эти простые объяснения о выделении факторов очень слабо соответствуют тому как работает кора. Они нужны на начальном этапе, чтобы хоть как-то показать о чем вообще идет разговор. Позже я попробую показать более достоверный, но и более сложный механизм формирования понятий.
Пространственно-временные координаты. Интересно, как мозг вообще ощущает время? Ведь в нем нет генератора и счетчиков импульсов, аналогичных часам? Возможно, это как-то связано со скоростью химических реакций и скоростью распространения волн. Почему иногда мозг способен соблюдать интервалы времени с точностью до долей секунды, в то время как в другом случае ощущение времени совершенно теряется, вплоть до того, что человек не уверен, день на улице или ночь? Можно ли искусственно повлиять на восприятие времени?
>> Для этого крысам делались регулярные инъекции в область CA3 гиппокампа препарата MK801
Где-то в недрах интернета читал заметки одной из этих крыс о препарате:
Где-то в недрах интернета читал заметки одной из этих крыс о препарате:
21.20 3 mg (+)-MK-801 (Dizocilpine) употреблено в виде hydrogen maleate орально не запивая.
Это были мелкие белые кристаллики почти без вкуса.
21.08 Начало действия, отдаленно напоминает кетаминовый вход.
21.32 Углубление действия, небольшая анестезия, которая нарастает.
21.34 Координация ухудшается.
21.43 Разгоняет, но анестезия не такая ярко выраженная как от кетамина.
21.49 Начинает слегка подрагивать видимость.
22.00 Картинка практически не дрожит, общеугнетающее действие усиливается.
22.03 Анестезия возросла, стало трудно набирать текст.
22.06 Уносит все сильнее.
22.10 Практически невозможно продолжать записи.
22.11 Намного более выраженная анестезия.
22.13 Почти нереально сидеть.
Далее я решил что лучше прилечь, пока не поздно. Очнулся только утром следующего дня.
Остались отрывочные воспоминания о попытках понять
что со мной происходит, где я и узнать текущее время.
Скажу сразу, координация движений была нарушена напрочь. Картинка, увиденная
мной утром, планомерно и методично поворачивалась на
некоторый угол, что есть бесконечное головокружение. Все вокруг
было невыносимо ярким, не как отдельные цвета, а только белый слепящим
свет. Присутствовала значительная расфокусировка зрения. Звуковое восприятие сильно нарушилось в сторону высоких частот. Старания что-либо поесть вызывали большие трудности из-за сухости во рту и головокружения, к тому же разная еда мало чем отличалась по вкусу.
Закрыв глаза, можно было увидеть удивительные и необычайные
поверхности как при микросъемке, цвет и поверхность которых непредсказуемым образом
видоизменялись, в некоторые моменты отщепляя от себя сгустки трансформирующийся материи.
К вечеру почти полностью нормализовался слух, улучшилась координация, а
головокружение ослабло, которое полностью прекратилось только к ~19.00 следующего дня.
Я чисто технический специалист и мне ОЧЕНЬ нравится что автор делает репост своих статей сюда. И мне плевать что нет рецензентов. Потому что тут, я нашёл ответы, которые искал не один год(ну или хотя бы внятные предположения, как минимум не противоречивые внутри себя). :) И кстати тема просто таки непосредственно касается Хабра. Более чем! :)
Sign up to leave a comment.
Логика мышления. Часть 14. Гиппокамп