Comments 16
Имеется ли у Apache Mesos поддержка ipv6 или пришлось патчить?
0
UFO just landed and posted this here
UFO just landed and posted this here
Судя по всему мы решаем не совсем ту задачу, что у вас. Поэтому контейнеры мы не используем, все задачи работают в одной среде. И Service Discovery нам пока не нужен, вся конфигурация задана статически.
0
UFO just landed and posted this here
Чем лучше Yarn + Airflow? Ваш планировщик задач умный? Он набирает статистику по джобам и оптимизирует время работы отдельных тасков и пропускную способность кластера? Если да, раскажите про планировщик)
0
Чем лучше Yarn + Airflow?
Я честно говоря не очень понял что надо сравнить с «Yarn + Airflow».
Можно сравнивать Mesos с Yarn, тут выбор сделан в пользу Mesos, потому что у него есть родной Python интерфейс и модель работы очень хорошо «мапится» на наши задачи.
Какую-то часть нашей системы можно сравнить с Airflow, но когда он стал публичным у нас уже был свой :)
Про планировщик ничего интересного рассказать не могу. Там никакого Rocket-Science пока нет.
+1
27 июля выпустили версию 1.0.
Есть ли там существенные отличия или эти примеры тоже должны работать?
Есть ли там существенные отличия или эти примеры тоже должны работать?
0
Из изменений которые мы заметили, это введение обязательных параметров при запуске самого Mesos.
В частности это приводит к непонятому сообщению об ошибке при запуске mesos-local https://issues.apache.org/jira/browse/MESOS-5613
Которое чинится путем задания переменной окружения MESOS_WORK_DIR.
Если запустить удалось, то дальше примеры должны работать.
В частности это приводит к непонятому сообщению об ошибке при запуске mesos-local https://issues.apache.org/jira/browse/MESOS-5613
Которое чинится путем задания переменной окружения MESOS_WORK_DIR.
Если запустить удалось, то дальше примеры должны работать.
0
Две статьи о том как Вы запускаете из очереди задачи на нескольких машинах? А расскажите по подробнее почему Вы используете именно эту систему? Какой профит от использования системы? Почему не используете просто получение задачи с серверя брокера AMQP в цикле?
0
Просто передавать задачи в виде сообщений можно.
До перехода на Mesos примерно так и было. Но нужно самим разрабатывать и реализовывать учет свободных ресурсов, отслеживание статусов задач (которые кроме как запуститься и завершиться могут еще упасть и потеряться). Еще сложнее все становится, когда возникает задача честного распеределения ресурсов между разными очередями, или изоляции запускаемых задач. Mesos что-то из этого реализует, для части предоставляет удобный API.
До перехода на Mesos примерно так и было. Но нужно самим разрабатывать и реализовывать учет свободных ресурсов, отслеживание статусов задач (которые кроме как запуститься и завершиться могут еще упасть и потеряться). Еще сложнее все становится, когда возникает задача честного распеределения ресурсов между разными очередями, или изоляции запускаемых задач. Mesos что-то из этого реализует, для части предоставляет удобный API.
0
Sign up to leave a comment.
Распределенное выполнение Python-задач с использованием Apache Mesos. Опыт Яндекса