Мы ищем не просто минимум нормы, а минимум квадрата нормы. Почему? Сама точка минимума совпадает, а квадрат даёт гладкую функцию (квадратичную функцию от агрументов (alpha,beta)), в то время как просто длина даёт функцию в виде конуса, недифференцируемую в точке минимума. Брр. Квадрат удобнее.
А почему не куб или четвертая степень? :) Да и в чем проблема оптимизировать функцию, недифференцируемую в одной точке? Довольно странное обоснование. Нематематическое, неточное. Функция потерь это центральная идея метода наименьших квадратов. Когда я пытался понять, основная проблема была именно тут.
Ваша идея здравая, спасибо за статью. Но только подшлифуйте метод изложения, либо подшлифуйте аудиторию :).
Как заметил ZlodeiBaal, если обрабатывать видео, будет сложно. Если же по статичному кадру получить приблизительное количество людей, при грамотном датасете это выполнимо. Многое зависит от качества съемки и угла. Я проглядел типичные фото — на многих очень сложно разобрать одельных людей. Все сливается.
Bilbo travelled to the cave. Gollum dropped the ring there. Bilbo took the ring.
Bilbo went back to the Shire. Bilbo left the ring there. Frodo got the ring.
Frodo journeyed to Mount-Doom. Frodo dropped the ring there. Sauron died.
Frodo went back to the Shire. Bilbo travelled to the Grey-havens. The End.
Where is the ring? A: Mount-Doom
Where is Bilbo now? A: Grey-havens
Where is Frodo now? A: Shire
При этом здесь заранее не определялась структура, не давался словарь.
Ваше определние интеллекта непродуктивно. Чем проектирование оружия сложней выбора траектории полета пчелы, последовательности действий при полете, сборе меда?
Вобщем, давайте на этом закончим. Если вам действительно инересен AI — читайте статьи, учите математику. Просто сказать — что в университетах идиоты можно, но это говорит что вы совершенно не понимаете область.
Вы определяете AI как нечто мистическое, сравнимое с интеллектом человека. Ученые понимают под AI набор методов, которые решают задачи, которые до недавнего времени мог решить только человек (или животные). К примеру, распознование образов на картинках, распознавание речи, определение оптимального маршрута или набора действий.
В этом смысле никаких фантазий нет. Есть строгая постановка задачи, есть критерий оценки решения — точность, процент ошибок и т.п. За последнее время ученые и инженеры сильно в таких алгоритмах. Посмотрите конкурсы по распознаванию лиц или речи. Сильно продвинулись QA системы.
> «В университетах нет НИЧЕГО что касается настоящего AI.»
Так что же по-вашему настоящий AI?
Распознавание на устройстве, это интересно. А что за технология, хотяб приблизительно? Сами сделали, или что-то адаптировали? Качество измеряли на каком-нибудь стандартном датасете?
У человека в депрессии нет цели. Ему все равно, что он обуза для близких. Ему нет дела ни до себя, ни до окружающих.
Вернуться на «рельсы», зачем? Быть кому-то полезным, зачем? Ответственность? Она и у здоровых то не часто присутствует.
Вы не понимаете. Это не из разряда — «у меня проблема, я буду себя жалеть». Это что-то вроде «мир потерял цвет, еда потеряла вкус, нет ничего, ради чего жить». Бывает что без видимой причины.
А советы вроде «надо быть сильнее» оставьте при себе. Вы этим не поможете, а сделаете хуже.
этого вполне достаточно, чтоб избавиться от довольно глубокой дипрессии.
Вы шутите, наверное. В глубокой депрессии вы даже с кровати не встанете. Не то, чтобы начать систематически бегать. Вероятно, вы просто путаете депрессию с плохим настроением. Бег может быть неплохой профилактикой, но не лечением.
C 'Nvidia CuDNN' пробовали? Caffe, Torch, Theano/Pylearn2 точно поддерживают. Плюс в Theano и PyLearn можно выбрать другую функцию свертки, побыстрей. Но сейчас все в основном используют либу CuDNN, если она есть вналичии. Дает значительный прирост (спасибо ребятам из NVIDIA и товарищу Ле Куну).
А вы тренировали сверточную сеть с нуля, без претренировки? Хотелось бы понять, насколько здесь заметен вклад именно transfer learning. Статья вроде как об этом. По моему опыту иногда проще и лучше тренировать под задачу, чем использовать претренированную модель. Хотя, я слышал у некоторых получалось лучше с претренингом.
На счет активации — не очень понятно зачем вы накручивали сигмоид на relu, если можно просто убрать relu слой.
Caffe — хорошая штука. Плюсую за обзор. Но введение не помешало бы. Так сходу непонятно о чем речь, если не работал с этим раньше.
Пара рецептов улучшить качество:
— используйте солвер adagrad
— используйте слои нормализации (local response normalization)
и, самое действенное для картинок
— можно использовать трансформацию и дополнение данных: вращать, менять масштаб, зашумлять и т.п.
Также, если скачать и установить библиотечку CuDNN от Nvidia, можно скорость сверток увеличить 1.5-3 раза.
Видел где-то соревнования грузовых машин на полигоне. Но там совсем все по-детски.
Самый интересный конкрурс, по мне, в Кроке был, где коптер по корридору должен был пролететь.
Да, я хотел бы написать. Будет время, сделаю. Там частично NDA ограничивает, но материала хватит.
На счет той статьи что вы привели, когда я пробовал word2vec, она еще не появилась. Но статья хорошая, проливает немного света на весь этот шаманизм.
По огранизационным вопросам. word2vec хорошо оптимизирован, так что там достаточно машинки с хорошим cpu и большой памятью чтоб рассчитать до 10 гигабайт текста. Я считал в основном на 2-6 гб текста википедии. Также делал свою версию word2vec и paragraph vector на GPU. Также хватало одной машины с хорошей картой.
Что касается картинок, то там ситуация сложней. Там была задача посчитать все машины в определенных областях сша за несколько лет. Для тренировки я использовал 1-3 машины, но в продакшне был кластер из 60 GPU.
— распознавание объектов на спутниковых снимках
— word2vec хорошо сработал для рекомендательной системы для соцсетей
— определение тональности текста: здесь сложней, большого выигрыша не получил, но дизайн фич упростился
— мой личный долгострой — система распознавание речи: пробовал разнные модели, что-то работало, что-то нет. но deep learning тут уже state of the art.
А почему не куб или четвертая степень? :) Да и в чем проблема оптимизировать функцию, недифференцируемую в одной точке? Довольно странное обоснование. Нематематическое, неточное. Функция потерь это центральная идея метода наименьших квадратов. Когда я пытался понять, основная проблема была именно тут.
Ваша идея здравая, спасибо за статью. Но только подшлифуйте метод изложения, либо подшлифуйте аудиторию :).
Интересно, насколько мощным должен быть дискриминатор и как изменится тренировка при увеличении его параметров (слоев).
Вообще, сейчас есть модная тенденция делать генеративные модели с помощью RNN:
www.youtube.com/watch?v=Zt-7MI9eKEo
arxiv.org/pdf/1502.04623.pdf
Вот статья, где модель учится читать: arxiv.org/pdf/1410.3916.pdf
Пример из нее:
При этом здесь заранее не определялась структура, не давался словарь.
Вот статья где модель обучается простым математическим операциям: arxiv.org/pdf/1511.07275v2.pdf
Ваше определние интеллекта непродуктивно. Чем проектирование оружия сложней выбора траектории полета пчелы, последовательности действий при полете, сборе меда?
Вобщем, давайте на этом закончим. Если вам действительно инересен AI — читайте статьи, учите математику. Просто сказать — что в университетах идиоты можно, но это говорит что вы совершенно не понимаете область.
В этом смысле никаких фантазий нет. Есть строгая постановка задачи, есть критерий оценки решения — точность, процент ошибок и т.п. За последнее время ученые и инженеры сильно в таких алгоритмах. Посмотрите конкурсы по распознаванию лиц или речи. Сильно продвинулись QA системы.
> «В университетах нет НИЧЕГО что касается настоящего AI.»
Так что же по-вашему настоящий AI?
Ну дело ваше.
Интересует как раз реализация акустической модели. На сайте Стэл ничего не нашел.
Кстати, я вам ни одного минуса не поставил. Риспект.
Вернуться на «рельсы», зачем? Быть кому-то полезным, зачем? Ответственность? Она и у здоровых то не часто присутствует.
Вы не понимаете. Это не из разряда — «у меня проблема, я буду себя жалеть». Это что-то вроде «мир потерял цвет, еда потеряла вкус, нет ничего, ради чего жить». Бывает что без видимой причины.
А советы вроде «надо быть сильнее» оставьте при себе. Вы этим не поможете, а сделаете хуже.
Вы шутите, наверное. В глубокой депрессии вы даже с кровати не встанете. Не то, чтобы начать систематически бегать. Вероятно, вы просто путаете депрессию с плохим настроением. Бег может быть неплохой профилактикой, но не лечением.
А вообще хороший обзор, спасибо.
На счет активации — не очень понятно зачем вы накручивали сигмоид на relu, если можно просто убрать relu слой.
Пара рецептов улучшить качество:
— используйте солвер adagrad
— используйте слои нормализации (local response normalization)
и, самое действенное для картинок
— можно использовать трансформацию и дополнение данных: вращать, менять масштаб, зашумлять и т.п.
Также, если скачать и установить библиотечку CuDNN от Nvidia, можно скорость сверток увеличить 1.5-3 раза.
Но это далеко не DARPA grand challenge.
Самый интересный конкрурс, по мне, в Кроке был, где коптер по корридору должен был пролететь.
На счет той статьи что вы привели, когда я пробовал word2vec, она еще не появилась. Но статья хорошая, проливает немного света на весь этот шаманизм.
По огранизационным вопросам. word2vec хорошо оптимизирован, так что там достаточно машинки с хорошим cpu и большой памятью чтоб рассчитать до 10 гигабайт текста. Я считал в основном на 2-6 гб текста википедии. Также делал свою версию word2vec и paragraph vector на GPU. Также хватало одной машины с хорошей картой.
Что касается картинок, то там ситуация сложней. Там была задача посчитать все машины в определенных областях сша за несколько лет. Для тренировки я использовал 1-3 машины, но в продакшне был кластер из 60 GPU.
— распознавание объектов на спутниковых снимках
— word2vec хорошо сработал для рекомендательной системы для соцсетей
— определение тональности текста: здесь сложней, большого выигрыша не получил, но дизайн фич упростился
— мой личный долгострой — система распознавание речи: пробовал разнные модели, что-то работало, что-то нет. но deep learning тут уже state of the art.
Пообщатся можно, пишите в личку, я верну скайп.