По поводу "ничтожности", ЛеКун ошибался (кмк). Действительно, текст на котором обучалась LLM - это концентрат накопленных нашей культурой, с её искажениями и предвзятостями, знаний. Да, слепой от рождения человек вполне может общаться. Но общением ИИ не ограничивается. А мир "слепых" от рождения людей ограничен для накопления новых знаний о нашем мире и некоторых видов деятельности (которые мы хотим автоматизировать с помощью ИИ). Напомню также, что уровень автономности и интеллектуальная мощь - это перпендекулярные оси. ИИ уровня животных - тоже пригодится для роботов. Какие сигналы потребуются обрабатывать кроме текста (зрение или сигнал с радиотелескопов) и можно ли их сразу без потерь преобразовать в текст - другой вопрос.
Не, не завод. Да и зачем прибыль ИИ? А представить не страшно, по крайней мере не страшней, чем представить на какие преступления готов пойти человек (далее по тексту) без обратной связи влияющей на оценку текущего состояния и постановку цели от других агентов и/или реальности. Мир как мир получается, который самоубийцам кажется адовым, а кому-то вполне стоящей штукой, чтобы жить. Ничего особенного. Отбор и эволюция отработают и на следующем уровне.
"Если это предположение о неполноте существующей модели верно, то нам потребуется еще один щаг - научиться делать с нейронной сетью нечто, что позволило бы ей активно искать стратегии достижения цели."
Над этим работают (тот же ЛеКун, Google Robotics, NVidia) - autonomous intelligence, воплощённые агенты, скорее даже сеть агентов (включая большие серверные модели), которые будут учиться не только наблюдая мир, но и действовать с некоторой целью активно уточняя модель мира - пробуя, настраиваясь и т.п. Автономные планетоходы, бурильщики астероидов, строители радиотелескопов с апертурой диаметра солнечной системы --> экспансия ИИ в космос, заодно и человечества.
Спасибо за ответы. Да, сорри - описался в первом абзаце (отвлекали), подправил. Но вы правильно поняли.
Тем не менее получается оценка 16..100 млрд нейронов которые обеспечивают уровень человеческого ИИ.
Дальше можно пофилософствовать, и вспомнить про спинной мозг и ганглии, животных и пр.. Но давайте как нибудь найдём время после прочтения статья (читал летом)
Ну и с интересом ждём мультимодальных больших моделей (типа недавней MLLM multimodal large language model https://arxiv.org/pdf/2302.14045.pdf), а не только текстовых. Будет весело, когда нейронка обсмотрится фильмов, видео новостей, экшнкамер и пр.
Если интересно, кое-какие идеи на этот счёт изложены в прошлогодней статье Яна Лекунна "A Path Towards Autonomous Machine Intelligence" https://openreview.net/pdf?id=BZ5a1r-kVsf
Вы тоже (как, в общем-то и я в нестрогих разговорах), приравниваете SSL к Unsupervised learning? Старая добрая кластеризация k-means, например). Просто раньше \ в основном разделяют. Связано не со способом тренировки, а со способом использования результата. Здесь можно найти таксономию: (страница 5 https://arxiv.org/pdf/2002.08721.pdf )
Можно ли относить AE (VAE) к SSL как варианту Joint Embedding Methods ? Если после тренировки использовать енкодер, а генератор выбросить. Понятно, что результат не очень. Я лишь для уточнения терминологии.
Можно ли относить Unsupervised Domain Adaptation c предобучением на синтетических данных к SSL? Ведь мы не используем в ручную созданные метки на Target (downstream) task. А синтетику можно обозвать "алгоритмом".
Разумно: покорять космос, расселяться и тем самым увеличивать свои шансы на выживаемость, как "вида" для ИИ с "телом" удобней будет. Человечество - всего лишь "загрузочный диск" для ИИ.
Хотя вероятней симбиоз: мы же пользуемся микробиотой, которой у нас внутри комфортно, хотя и убиваем ее антибиотиками и алкоголем иногда :-)
Ну и в любом случае - это "наш" ИИ, так он унаследует в себе артефакты именно нашей, а не чужой цивилизации.
«The echo state network (ESN)[1][2] is a type of reservoir computer that uses a recurrent neural network with a sparsely connected hidden layer (with typically 1% connectivity). The connectivity and weights of hidden neurons are fixed and randomly assigned.»
Да видел, спасибо. Возможно, как не раз бывало в истории науки, междисциплинарный подход поможет выработать более компактную модель мира и эволюционные биологи, программисты помогут физикам найти нужное правило на графах, а математики с физиками подскажут биологам как работает эволюция сложных систем.
Подскажите пожалуйста, 10 лет назад я наткнулся на вот это ЖЖ: muha-a.livejournal.com/694.html («Клеточный автомат 37R и законы физики») — это не ваш случайно?
И в мыслях не было. Но, кстати, надеюсь помог Вам уточнить и условия Вашей задачи. Мне кажется это понимание будет смутным, если полагать, что распознование формы это прерогативатолько человека. А то получится как раньше «Сейчас мы сделаем общий ИИ, для этого надо чтобы он смог приблизился к человеку в игре в шахматы… ой, в игру Го… ой, решал задачу машинного перевода… ой, распознавал кошек и собак… ой, различал форму».
Да, диван тоже вспомнился. Согласен, датасет и аугментация (таже стилизация) лишь смягчают проблему игнорирования формы… и вращения. И Хинтон мотивируя работу над архитектурой капсульных сетей пытается моделировать композицию объектов («рот», «глаз», «нос») — их относительного расположения и ориентации — в нечто целое («лицо») и это целое в свою очередь может быть частью чего-то другого.
А ещё это только обычные, приземлённые и недалёкие человеки воспринимают форму фильтруя текстуру, а вот продвинутые творчески одарённые люди смотрят на мир как раз в режиме BagNet :-), что весело обыграно в кинофильме «Приключения принца Флоризеля»" (link)
Ужас! Страшно представить, что творит с нашей цивилизацией
ИИПО.владельцы [ ] уверенно придерживаясь мнения "люди - ошибаются, компьютеры - не ошибаются". - ну эти люди психопаты явно ;-).По поводу "ничтожности", ЛеКун ошибался (кмк). Действительно, текст на котором обучалась LLM - это концентрат накопленных нашей культурой, с её искажениями и предвзятостями, знаний.
Да, слепой от рождения человек вполне может общаться. Но общением ИИ не ограничивается.
А мир "слепых" от рождения людей ограничен для накопления новых знаний о нашем мире и некоторых видов деятельности (которые мы хотим автоматизировать с помощью ИИ). Напомню также, что уровень автономности и интеллектуальная мощь - это перпендекулярные оси. ИИ уровня животных - тоже пригодится для роботов.
Какие сигналы потребуются обрабатывать кроме текста (зрение или сигнал с радиотелескопов) и можно ли их сразу без потерь преобразовать в текст - другой вопрос.
Не, не завод. Да и зачем прибыль ИИ? А представить не страшно, по крайней мере не страшней, чем представить на какие преступления готов пойти человек (далее по тексту) без обратной связи влияющей на оценку текущего состояния и постановку цели от других агентов и/или реальности. Мир как мир получается, который самоубийцам кажется адовым, а кому-то вполне стоящей штукой, чтобы жить. Ничего особенного. Отбор и эволюция отработают и на следующем уровне.
"Если это предположение о неполноте существующей модели верно, то нам потребуется еще один щаг - научиться делать с нейронной сетью нечто, что позволило бы ей активно искать стратегии достижения цели."Над этим работают (тот же ЛеКун, Google Robotics, NVidia) - autonomous intelligence, воплощённые агенты, скорее даже сеть агентов (включая большие серверные модели), которые будут учиться не только наблюдая мир, но и действовать с некоторой целью активно уточняя модель мира - пробуя, настраиваясь и т.п.
Автономные планетоходы, бурильщики астероидов, строители радиотелескопов с апертурой диаметра солнечной системы --> экспансия ИИ в космос, заодно и человечества.
Спасибо за ответы. Да, сорри - описался в первом абзаце (отвлекали), подправил. Но вы правильно поняли.
Тем не менее получается оценка 16..100 млрд нейронов которые обеспечивают уровень человеческого ИИ.
Дальше можно пофилософствовать, и вспомнить про спинной мозг и ганглии, животных и пр.. Но давайте как нибудь найдём время после прочтения статья (читал летом)
Ну и с интересом ждём мультимодальных больших моделей (типа недавней MLLM multimodal large language model https://arxiv.org/pdf/2302.14045.pdf), а не только текстовых. Будет весело, когда нейронка обсмотрится фильмов, видео новостей, экшнкамер и пр.
Потому что я допускаю, что человеческий интеллект реализован не только в коре головного мозга.
Например, Гиппока́мп "Участвует в механизмах формирования эмоций, консолидации памяти (то есть перехода кратковременной памяти в долговременную), пространственной памяти, необходимой для навигации. Генерирует тета-ритм при удержании внимания[1]."
Если интересно, кое-какие идеи на этот счёт изложены в прошлогодней статье Яна Лекунна "A Path Towards Autonomous Machine Intelligence" https://openreview.net/pdf?id=BZ5a1r-kVsf
КДПВ от туда:
В коре 16 млрд. нейронов. Всего - 100 млрд. Так что Roman_Kor правильно для человека посчитал.
Наверное, Вы имеете ввиду, что весь "человечески интеллект" только в коре головного мозга находится, но это (скорее всего) не так.
Наши биологические сети не только считывали текст (или щупали шрифт Брайля), но видели динамику нашего мира и слышали природу, музыку...
Вот когда нейросетке скормят не только терабайты текста, но и петабайты видео - тогда веселей будет
Мне такие нравились в своё время: https://www.youtube.com/watch?v=g-cLaPUOtzU
The Kinks - "Sunny Afternoon" (1966) и "Shangri-La"
Вас в аналитики записали: "Инженер по данным" или "BI разработчик"
Здравствуйте, спасибо за цикл статей.
"Self-Supervised Learning (или unsupervised) "Вы тоже (как, в общем-то и я в нестрогих разговорах), приравниваете SSL к Unsupervised learning? Старая добрая кластеризация k-means, например). Просто раньше \ в основном разделяют. Связано не со способом тренировки, а со способом использования результата. Здесь можно найти таксономию: (страница 5 https://arxiv.org/pdf/2002.08721.pdf )
Можно ли относить AE (VAE) к SSL как варианту Joint Embedding Methods ? Если после тренировки использовать енкодер, а генератор выбросить. Понятно, что результат не очень. Я лишь для уточнения терминологии.
Можно ли относить Unsupervised Domain Adaptation c предобучением на синтетических данных к SSL? Ведь мы не используем в ручную созданные метки на Target (downstream) task. А синтетику можно обозвать "алгоритмом".
Спасибо за ответы.
Разумно: покорять космос, расселяться и тем самым увеличивать свои шансы на выживаемость, как "вида" для ИИ с "телом" удобней будет. Человечество - всего лишь "загрузочный диск" для ИИ.
Хотя вероятней симбиоз: мы же пользуемся микробиотой, которой у нас внутри комфортно, хотя и убиваем ее антибиотиками и алкоголем иногда :-)
Ну и в любом случае - это "наш" ИИ, так он унаследует в себе артефакты именно нашей, а не чужой цивилизации.
А кто-нибудь уже запрашивал ChatGPT как ее улучшить, доработать, расширить и углубить?
Статья 2010 года: www.ai.rug.nl/minds/uploads/EchoStatesTechRep.pdf
en.wikipedia.org/wiki/Echo_state_network
«The echo state network (ESN)[1][2] is a type of reservoir computer that uses a recurrent neural network with a sparsely connected hidden layer (with typically 1% connectivity). The connectivity and weights of hidden neurons are fixed and randomly assigned.»