В предыдущих частях мы описали модель нейронной сети, которую назвали волновой. Наша модель существенно отличается от традиционных волновых моделей. Обычно исходят из того, что каждому нейрону свойственны собственные осцилляции. Совместная работа таких склонных к систематической пульсации нейронов, приводит в классических моделях к определенной общей синхронизации и появлению глобальных ритмов. Мы вкладываем в волновую активность коры совсем другой смысл. Мы показали, что нейроны способны фиксировать информацию не только за счет изменения чувствительности своих синапсов, но и благодаря изменениям в мембранных рецепторах, расположенных вне синапсов. В результате этого нейрон приобретает способность реагировать на большой набор определенных паттернов активности окружающих его нейронов. Мы показали, что срабатывание нескольких нейронов, образующих определенный узор, обязательно запускает волну, распространяющуюся по коре. Такая волна это не просто возмущение, передающееся от нейрона к нейрону, а сигнал создающий по мере продвижения определенный узор активности нейронов, уникальный для каждого излучившего его паттерна. Это означает, что в любом месте коры по тому узору, что принесла с собой волна, можно определить какие паттерны на коре пришли в активность. Мы показали, что через небольшие пучки волокон волновые сигналы могут проецироваться на другие зоны коры. Сейчас мы поговорим о том как может происходить синаптическое обучение нейронов в наших волновых сетях.
Для тех, кто только присоединился, я советую начать с первой части или хотя бы с описания волновой модели коры. Наша волновая модель показывает как вызванная активность нейронов коры порождает волны фоновой активности, распространяющиеся как внутри зон коры, так и через проекционные связи по всему пространству мозга. Проходя по какому-либо участку коры, волна, кодирующая определенное явление, воспроизводит свой уникальный узор. Это позволяет нейронам в любом месте коры получать информацию о том, что происходит в других частях мозга.
Для тех, кто только присоединился, я советую начать с первой части или хотя бы с описания используемой нами волновой модели коры. Суть волновой модели в том, что информация кодируется одновременно двумя способами. Первый способ – это паттерны вызванной активности, соответствующие обнаруженным нейронами-детекторами явлениям. Второй – волны идентификаторы, распространяющиеся от паттернов вызванной активности и несущие уникальные узоры. Уникальность узора каждой из волн позволяет на удалении от источника сигнала узнать о его активности. При таком подходе хорошо объясняется сформулированное Мак-Каллоком и Питсом несоответствие между объемом зон коры и количеством волокон в пучках, проецирующих информацию от них на другие зоны.
Итак, мы подошли к описанию одного из ключевых принципов описываемой модели. Этот принцип ранее не использовался ни в нейронных сетях, ни при описании работы мозга. В связи с этим я крайне рекомендую ознакомится с предыдущими частями. Как минимум необходимо прочитать четвертую часть без которой описанное ниже, будет совершенно непонятно.
В предыдущей части мы говорили о том, что активность нейронов делится на вызванную и фоновую. Отголоски фоновой активности наблюдают, снимая электроэнцефалограмму. Записываемые сигналы имеют сложную форму и зависят от места приложения электродов к голове, но, тем не менее, в них достаточно четко прослеживаются отдельные гармонические составляющие.
Мы подошли к моменту, когда от пересказа азов нейробиологии и теории нейронных сетей нам предстоит перейти к тому новому, что содержит предлагаемая модель. Тем, кто только приступил к чтению цикла я советую начать с первой части.
Вернемся к описанию работы реальных нейронов. Сигналы от одних нейронов через их аксоны поступают на входы других нейронов. В химических синапсах происходит выброс медиатора, который в зависимости от типа синапса оказывает либо активирующее, либо тормозящее воздействие на принимающий сигнал нейрон. Чувствительностью синапса, которая может меняться, определяется вклад этого синапса в общее возбуждение. Если суммарное воздействие превышает определенный порог, то происходит деполяризация мембраны и нейрон генерирует спайк. Спайк – это одиночный импульс, продолжительность и амплитуда которого не зависит от того, какая синаптическая активность его породила.
В первой части мы описали свойства нейронов. Во второй говорили об основных свойствах, связанных с их обучением. Уже в следующей части мы перейдем к описанию того как работает реальный мозг. Но перед этим нам надо сделать последнее усилие и воспринять еще немного теории. Сейчас это скорее всего покажется не особо интересным. Пожалуй, я и сам бы заминусовал такой учебный пост. Но вся эта «азбука» сильно поможет нам разобраться в дальнейшем.
Персептрон
В машинном обучении разделяют два основных подхода: обучение с учителем и обучение без учителя. Описанные ранее методы выделения главных компонент – это обучение без учителя. Нейронная сеть не получает никаких пояснений к тому, что подается ей на вход. Она просто выделяет те статистические закономерности, что присутствуют во входном потоке данных. В отличие от этого обучение с учителем предполагает, что для части входных образов, называемых обучающей выборкой, нам известно, какой выходной результат мы хотим получить. Соответственно, задача – так настроить нейронную сеть, чтобы уловить закономерности, которые связывают входные и выходные данные.
В предыдущей части мы описали самые простые свойства формальных нейронов. Проговорили о том, что пороговый сумматор точнее воспроизводит природу единичного спайка, а линейный сумматор позволяет смоделировать ответ нейрона, состоящий из серии импульсов. Показали, что значение на выходе линейного сумматора можно сопоставить с частотой вызванных спайков реального нейрона. Теперь мы посмотрим на основные свойства, которыми обладают такие формальные нейроны.
Года полтора назад я выкладывал на Хабр цикл видеолекций с моим видением того как работает мозг и каковы возможные пути создания искусственного интеллекта. За прошедшее с тех пор время удалось существенно продвинуться вперед. Что-то получилось глубже понять, что-то удалось смоделировать на компьютере. Что приятно, появились единомышленники, активно участвующие в работе над проектом.
В настоящем цикле статей планируется рассказать о той концепции интеллекта над которой мы сейчас работаем и продемонстрировать некоторые решения, являющиеся принципиально новыми в сфере моделирования работы мозга. Но чтобы повествование было понятным и последовательным оно будет содержать не только описание новых идей, но и рассказ о работе мозга вообще. Какие-то вещи, особенно в начале, возможно покажутся простыми и общеизвестными, но я бы советовал не пропускать их, так как они во многом определяют общую доказательность повествования.
Где-то год назад я опубликовал цикл лекций («Логика мышления») «Искусственный интеллект как совокупность вопросов» . За время, прошедшее с тех пор, удалось достаточно существенно продвинуться вперед.
На днях мне довелось выступать на семинаре по ИИ, который в Санкт-Петербурге проводит Алексей Потапов, за что ему глубокий респект. Доклад был о природе обобщения, что это за задача, как мозг реализует обобщение во всех его проявлениях и примеры обобщения, касающиеся зрительной системы человека. Так получилось, что в основном разговор шел о тех разработках, на которых я сосредоточен последний год. Так что, если кому-то, кто смотрел «Логику мышления» интересно проследить в какую сторону идет развитие моего направления, то это можно сделать по записи этого выступления.
Когда мы рассуждаем о сильном искусственном интеллекте, то мы понимаем, что это не изолированный вопрос, не вещь в себе, а вопрос ответ на который подразумевает объяснение всех явлений, которые связаны с мышлением человека. То есть, ответив на вопрос о природе интеллекта, мы неизбежно должны будем ответить на такие вопросы как:
Все непонятное кажется сложным, запутанным и труднообъяснимым. Такое отношение совершенно понятно и по отношению к сильному ИИ. Наш мозг умеет столько всего, что невольно кажется, что для объяснения принципов его работы необходимо разобраться в сложнейшем хитросплетении множества различных принципов и разнообразных систем. Собственно, это порождает соответствующие подходы к изучению ИИ, которые время от времени описываются на этом сервере. Всякий, кто профессионально занимается ИИ, со временем определяется с неким философским воззрением, которое приобретает для него религиозный оттенок. Пытаться опровергнуть или даже поставить под сомнение это воззрение задача неблагодарная. В конце концов только работающая модель ИИ — веский довод в пользу одной из теорий. Так что прошу воспринимать мое повествование исключительно как мою личною точку зрения. Так вот, я убежден, что уже удалось сформулировать основные принципы необходимые для построения сильного ИИ и в основном понятно, и что есть мышление и как его смоделировать в полном объеме. Подробности под катом.
Понять как работает человеческий мозг невозможно если не дать внятного ответа на вопрос: что такое эмоции. Предлагаю концепцию, отличную от всех классических представлений, но позволяющую построить исчерпывающую объясняющую модель. В рамках этой модели удается дать объяснение гармонии, красоте и юмору.
Попробую нарушить последовательность повествования, которую планировал изначально. После описания «Эмоционального компьютера» я хотел написать об устройстве ассоциативной памяти, но по комментариям я так понимаю, что читатели уже устали от скучных лекций и ждут экшена.
Сначала расскажу историю. Был у меня приятель, талантливый программист.
Начнем издалека. Представим себе, что ученые девятнадцатого века неким волшебным образом получили современный компьютер. Они стали бы изучать его работу, создали бы целую науку, описывающую свойства операционной системы и установленных программ. Затем они вскрыли бы этот компьютер и попытались описать его основные узлы, понять их назначение. Потом они стали бы измерять напряжение в различных точках. Возникли бы различные теории о циркулирующих внутри компьютера потоках информации. Возникло бы учение о его кремниевой основе. Кто-нибудь получил бы Нобелевскую премию за открытие принципов работы полупроводникового вентиля. Но самое главное, что сложность устройства современного компьютера затруднила бы тем ученым, путь к пониманию достаточно простых принципов лежащих в основе любой вычислительной техники. Эти принципы были сформулированы в «машине Тьюринга» и не изменились по сей день, и неважно собран ли компьютер на лампах, транзисторах или микросхемах. Любой компьютер имеет память, систему команд, процессор, который умеет эти команды выполнять, программы, состоящие из последовательности команд и устройства ввода вывода, позволяющие взаимодействовать с внешним миром. Остальное «навороты», возникшие в результате эволюции вычислительной техники, хотя и многократно увеличивают возможности компьютера, не отменяют эти принципы.
Написав «Возможный путь создания сильного ИИ» я, конечно, понимал, что краткость изложения не позволила объяснить существенные моменты и уж тем более их обосновать. Попробую теперь сделать несколько постов, в которых остановлюсь на самых существенных идеях.
Первое с чем я всегда сталкиваюсь – это достаточно смутное понимание, даже у специалистов, роли эмоций у человека и того как эмоции управляют поведением.
Ниже я опишу путь (основные принципы), который позволяет создать ИИ, способный пройти тест Тьюринга, то есть общаться с человеком не «механически», а «понимая» суть беседы. Этот интеллект во многом будет аналогичен человеческому, он будет «испытывать» те же эмоции, что и человек, он будет иметь память, он будет «мыслить». Я буду описывать процессы и механизмы, свойственные реальному мозгу, но указывать на способы реализации доступные при компьютерном моделировании, не утверждая, что они «похожи» на то, как природа решила аналогичные задачи.
