Все равно шляпа получается. CoreML подразумевает, что вы работаете с swift/objective-c окружением, а весь, скажем, популярный и актуальный софт, это в основном python библиотеки. В итоге надо учить swift, xcode и так далее и/или конвертировать модели. А как получить исходную модель tensorflow, если Nvidia Cuda не работает с Mac? В итоге возвращаемся к исходной проблеме — страдаем и тренируем на CPU.
На самом деле не все так однозначно. Просто добавлю свое мнение на эту тему.
Начнем с того что RX580 это даже близко не аналог 1080. Думаю на сегодняшний день топовые модели AMD и NVDIA приблизительно равны по производительности. Вопрос на самом деле в другом. А толку даже от самых мощных видеокарт, если серьезные вычисления и большие датасеты доступны только гигантским и богатым корпорациям. Все остальное лишь «игрушки», либо только для исследований.
А теперь про сам десктопный ML.
Если у вас видеокарта NVDIA — вы автоматом не сможете работать на экосистеме Apple из-за конфликта Apple и Nvidia. Самые популярные фреймворки Tensorflow и PyTorch работают (с ускорением) только c Nvidia CUDA.
Далее Keras. Keras задумывался как высокоуровневый интерфейс. Соответственно остальные бекенды, как PlaidML могли обеспечить работу с другими видео ускорителями без закрытой технологии CUDA. И так было до тех пор, пока авторы не заявили, что Keras будет развиваться только в рамках Tensorflow. Все — «накрылась медным тазом ваша качалка». И получается что PlaidML может работать только с Keras, a не с tf.Keras — API разбежалось. Cоответственно смысл юзать PlaidML, когда он не совместим с последней версией Keras API в Tensorflow. Пацаны из PlaidML (они часть Intel) были вынуждены поменять roadmap и идти в другом направлении.
Как писал автор — есть и другой путь. Это использовать rocm или «cuda для нищих». Дело в том, что весь ML, по сути, это работа грубо говоря с массивчиками, а именно с матрицами и тензорами (векторами чисел). Оказалось, что видеокарты работают с ними очень быстро уже давно (спасибо видеоиграм). Но есть вопрос — а как программисту сообщить видеокарте, что вот эта структура в его любимом языке программирования это тензор или матрица, чтобы она посчитала нам наши замечательные веса в модельке? Оказалось что у каждого производителя видео чипов есть для этого свой формат/язык. Соответсвенно (очень грубо говоря) rocm это попытка транслировать код написанный для CUDA в код, который понимает AMD видеочипы. Но c ROCm не все так просто — он работает только для некоторых линукс ядер и редакций ОС (Ubuntu, Fedora, CentOS).
Вывод — ML на десктоп это боль. По сути доступен только Linux и Nvidia, все остальное это танцы с бубном.
Если где-то ошибся — дайте знать.
Не работает оно на PC нормально. На PC в плане графики оно работает только на видеокартах Nvidia. На AMD видеокартах там все не так радужно. Напрочь отсутсвует сглаживание и возможность его выбрать и поменять. Также многопоточность в AMD процессорах работает криво, люди патч делают чтобы равномерно ядра загрузить.
А что касается багов геймплейных, там просто ужас. Пропадание предметов и NPC, спавн NPC в 2 метрах от тебя, телепорты и откидывания (во время миссии меня телепортнуло в соседнее здание), в побочной миссии просто сама взорвалась машина в которую по сюжету нужно сесть и куча всякого другого говна.
Сама игра классная но вот реализация так себе. Знаю о чем говорю, у меня предзаказ игры был. Машина достаточно мощная — топ 2019 года.
Фейспалм.
Встречайте! Только сегодня! Rest API — АПИ для отдыха!
От создателей культового перевода «июнь разработчик». (Junior — jun. — джун — june — июнь)
Имхо сама по себе saga переусложнена. Однажды в наследие попал один большой проект на ней — очень было трудно поддерживать. Я считаю для JS это слишком. Инструмент который должен был облегчить менеджмент состояния стал +1 усложняющей прослойкой.
Всегда знал, что мы живем в матрице, а котики это существа вне матрицы. Ну вот как они ломают нашу реальность и гравитацию и все равно всегда падают на 4 лапки?
Прямо с языка снял. Единственный относительно критический недостаток, который я вижу в веб-компонентах на сегодня, это отсутствие локальной регистрации компонента — все компоненты регистрируются в глобальной области видимости. Все остальное вкусовщина и из разряда это сделано не так как в моем любимом реакте фреймворке.
Абсолютно согласен. Похоже на дань моды — «сейчас популярно стало функциональное программирование, ой давайте перепишем ВСЕ на функциях», а через пять лет такие «ой прочитал случайно книжку про объектно-ориентированное программирование, так удобно, давайте перепишем все на ООП.». И так бесконечно по кругу инкрементируя версии библиотек.
Выглядит действительно неплохо, но есть небольшой момент в конце анимации перелистывания, который выглядит чуток неестественно — такое ощущение что страница просто линейно доходит/доезжает до конца, в жизни это было бы скорее похоже на эффект ускорения и постепенного торможения (что-то наподобие ease-in-out из css). Но возможно это лишь кажется.
Ну, онлайн курсы онлайн курсам рознь. Есть совершенно тупые и говняные курсы от людей, которые сами не очень хорошо понимают, что такое, к примеру, градиентный спуск, производная или метод главных компонент. Есть такие курсы по ML, что не многие доходят не то что бы до конца, а даже до середины, где требуется определенное понимание линейной алгебры и смежных областей из мира разработки программного обеспечения. Мало того — одно дело пробежаться по доке tensorflow и парочке туториалов и накидать какую-нибудь модельку, которая будет работать, другое дело получить теорию и понимать, что модель то будет работать, но давать не совсем корректный результат.
Полученные сертификаты от именитых университетов и организаций действительно показывают твой приблизительный уровень и способность изучать что-нибудь новое, а показать код на гитхаб с проектом из мира ML иногда граничит на гране тупости. Все более не менее приличные opensource разработки зачастую поддерживаются группой разработчиков а не одним разработчиком, а и иногда и с привлечением других специалистов для консультации — математиков, физиков и химиков.
Что тогда работодатель хочет увидеть? Как ты пользуешься докой из keras? А если у тебя есть свой приватный ML проект, который содержит твои наработки и ты бы не хотел делиться этой информацией с потенциальными конкурентами?
Пренебрежительное отношение работодателей к сертификатам и дипломам в нашей местности сложилась из-за того что сертификат и диплом можно легко купить (Достаточно просто посмотреть на любого чиновника или менеджеров среднего звена — через раз купленные дипломы) либо диплом не соответствует уровню знаний. Но это совершенно не значит что не нужно получать эти сертификаты. Даже наоборот — чем больше, тем лучше. Особенно от крутых университетов. Как минимум для себя, для визуальной отметки своего прогресса.
Я прошел и прохожу курсы от Stanford University c Andrew Ng и курсы от организации DeepLearning.ai. Это отличные курсы с хорошей теорией и практикой. И я точно могу сказать что в ситуации когда есть люди имеющее опыт практической разработки ML но не имеющих знания теории в этой области уж точно намного хуже чем, если бы была хорошая теоретическая база, но нет практического опыта. Опыт можно приобрести от коллег и в процессе любой практики, а вот теоретические фундаментальные знания просто так в процессе практики не получишь.
Поэтому коллеги учитесь! учитесь! учитесь! это круто!
Это nodejs. Там меньше не получается сделать dedup позволяет ужать его его до 80 мегабайт. А сборка в bundle приводит к нерабочему приложению, хотя и ужимает его до 1.4 мегабайта что куда бы не шло.
Скиньте github/bitbucket ссылку с примером проблемы. Может на выходных получиться посмотреть и помочь вам.
Если собрать будет jar в приделах 50 мегабайт. Там еще внутри будет еще web сервер. И для java это микросервис. И он будет включать именно те jar которые использутся. И да эти самые 297 мегабайт могут быть переиспользованы в других проектах, что хоть частично компенсирует размер.
Мне просто не совсем понятно зачем нужно 100 мегабайт не понятной шелухи. Там же из полезного и реально используемого от силы 10 процентов. Остальное различный мусор.
Не находите противоречий самому себе? То есть вебсервер с линтером в 100 мегабайтах это мусор, а веб сервер в 300 мегабайтах это не мусор. Не надо так. И к тому же что вы будете делать, если другой проект потребует другую версию Spring? Опять скачаете 300 мегабайт с сервером? Зачем вам два одинаковых сервера?
Простой пример я пытался запаковать nodejs приложение и оно на выходе не работает. Хотелось бы понять почему.
Мне кажется в этом случае вам нужно начинать с понимания того, как работает NodeJS и его модульная система.
Окей у меня предполагается приложение, с 10-20 CRUD и 30-40 различных страниц. Какую структуру приложения предложите? Ключевой момент количество может увеличиваться. В качестве UI-kit bootstrap. Фигачить линейно компоненты? В какой-то момент каталог components превратится в помойку.
Не совсем понимаю, по какому принципу вы определяете, что определенное количество компонентов превратилась помойку.
Для меня помойка в структуре, когда файлы и папки не следуют общему стилю наименованию и их названия не отражают содержимое, а не когда большое количество. И даже если количество компонентов увеличится, их всегда можно разделить по смыслу/семантике/группе. К примеру есть подход Atomic Structure bradfrost.com/blog/post/atomic-web-design.
Или можно сгруппировать по другому принципу — переиспользуемые UI компоненты хранить в ui директории, а частные компоненты в partials, служебные теплейты и слои в templates и layouts директориях.
Начнем с того что RX580 это даже близко не аналог 1080. Думаю на сегодняшний день топовые модели AMD и NVDIA приблизительно равны по производительности. Вопрос на самом деле в другом. А толку даже от самых мощных видеокарт, если серьезные вычисления и большие датасеты доступны только гигантским и богатым корпорациям. Все остальное лишь «игрушки», либо только для исследований.
А теперь про сам десктопный ML.
Если у вас видеокарта NVDIA — вы автоматом не сможете работать на экосистеме Apple из-за конфликта Apple и Nvidia. Самые популярные фреймворки Tensorflow и PyTorch работают (с ускорением) только c Nvidia CUDA.
Далее Keras. Keras задумывался как высокоуровневый интерфейс. Соответственно остальные бекенды, как PlaidML могли обеспечить работу с другими видео ускорителями без закрытой технологии CUDA. И так было до тех пор, пока авторы не заявили, что Keras будет развиваться только в рамках Tensorflow. Все — «накрылась медным тазом ваша качалка». И получается что PlaidML может работать только с Keras, a не с tf.Keras — API разбежалось. Cоответственно смысл юзать PlaidML, когда он не совместим с последней версией Keras API в Tensorflow. Пацаны из PlaidML (они часть Intel) были вынуждены поменять roadmap и идти в другом направлении.
Как писал автор — есть и другой путь. Это использовать rocm или «cuda для нищих». Дело в том, что весь ML, по сути, это работа грубо говоря с массивчиками, а именно с матрицами и тензорами (векторами чисел). Оказалось, что видеокарты работают с ними очень быстро уже давно (спасибо видеоиграм). Но есть вопрос — а как программисту сообщить видеокарте, что вот эта структура в его любимом языке программирования это тензор или матрица, чтобы она посчитала нам наши замечательные веса в модельке? Оказалось что у каждого производителя видео чипов есть для этого свой формат/язык. Соответсвенно (очень грубо говоря) rocm это попытка транслировать код написанный для CUDA в код, который понимает AMD видеочипы. Но c ROCm не все так просто — он работает только для некоторых линукс ядер и редакций ОС (Ubuntu, Fedora, CentOS).
Вывод — ML на десктоп это боль. По сути доступен только Linux и Nvidia, все остальное это танцы с бубном.
Если где-то ошибся — дайте знать.
А что касается багов геймплейных, там просто ужас. Пропадание предметов и NPC, спавн NPC в 2 метрах от тебя, телепорты и откидывания (во время миссии меня телепортнуло в соседнее здание), в побочной миссии просто сама взорвалась машина в которую по сюжету нужно сесть и куча всякого другого говна.
Сама игра классная но вот реализация так себе. Знаю о чем говорю, у меня предзаказ игры был. Машина достаточно мощная — топ 2019 года.
Встречайте! Только сегодня! Rest API — АПИ для отдыха!
От создателей культового перевода «июнь разработчик». (Junior — jun. — джун — june — июнь)
реактефреймворке.Полученные сертификаты от именитых университетов и организаций действительно показывают твой приблизительный уровень и способность изучать что-нибудь новое, а показать код на гитхаб с проектом из мира ML иногда граничит на гране тупости. Все более не менее приличные opensource разработки зачастую поддерживаются группой разработчиков а не одним разработчиком, а и иногда и с привлечением других специалистов для консультации — математиков, физиков и химиков.
Что тогда работодатель хочет увидеть? Как ты пользуешься докой из keras? А если у тебя есть свой приватный ML проект, который содержит твои наработки и ты бы не хотел делиться этой информацией с потенциальными конкурентами?
Пренебрежительное отношение работодателей к сертификатам и дипломам в нашей местности сложилась из-за того что сертификат и диплом можно легко купить (Достаточно просто посмотреть на любого чиновника или менеджеров среднего звена — через раз купленные дипломы) либо диплом не соответствует уровню знаний. Но это совершенно не значит что не нужно получать эти сертификаты. Даже наоборот — чем больше, тем лучше. Особенно от крутых университетов. Как минимум для себя, для визуальной отметки своего прогресса.
Я прошел и прохожу курсы от Stanford University c Andrew Ng и курсы от организации DeepLearning.ai. Это отличные курсы с хорошей теорией и практикой. И я точно могу сказать что в ситуации когда есть люди имеющее опыт практической разработки ML но не имеющих знания теории в этой области уж точно намного хуже чем, если бы была хорошая теоретическая база, но нет практического опыта. Опыт можно приобрести от коллег и в процессе любой практики, а вот теоретические фундаментальные знания просто так в процессе практики не получишь.
Поэтому коллеги учитесь! учитесь! учитесь! это круто!
Скиньте github/bitbucket ссылку с примером проблемы. Может на выходных получиться посмотреть и помочь вам.
Не находите противоречий самому себе? То есть вебсервер с линтером в 100 мегабайтах это мусор, а веб сервер в 300 мегабайтах это не мусор. Не надо так. И к тому же что вы будете делать, если другой проект потребует другую версию Spring? Опять скачаете 300 мегабайт с сервером? Зачем вам два одинаковых сервера?
Мне кажется в этом случае вам нужно начинать с понимания того, как работает NodeJS и его модульная система.
Не совсем понимаю, по какому принципу вы определяете, что определенное количество компонентов превратилась помойку.
Для меня помойка в структуре, когда файлы и папки не следуют общему стилю наименованию и их названия не отражают содержимое, а не когда большое количество. И даже если количество компонентов увеличится, их всегда можно разделить по смыслу/семантике/группе. К примеру есть подход Atomic Structure
bradfrost.com/blog/post/atomic-web-design.
Или можно сгруппировать по другому принципу — переиспользуемые UI компоненты хранить в ui директории, а частные компоненты в partials, служебные теплейты и слои в templates и layouts директориях.