Pull to refresh

Comments 16

Имеется ли у Apache Mesos поддержка ipv6 или пришлось патчить?
Да, поддержку ipv6 пришлось реализовать самим.
UFO just landed and posted this here
UFO just landed and posted this here
За ссылку спасибо.
Но в Ubuntu-Trusty из коробки не загружаются Python модули (похоже они устанавливаются в неправильное место).
Но это я понял только сейчас, а раньше думал что Python-модули просто не включены.
UFO just landed and posted this here
UFO just landed and posted this here
Судя по всему мы решаем не совсем ту задачу, что у вас. Поэтому контейнеры мы не используем, все задачи работают в одной среде. И Service Discovery нам пока не нужен, вся конфигурация задана статически.
UFO just landed and posted this here
Если вы не используете Docker, значит используются Mesos-контейнеры:

Можно и так сказать.

А по 4-му вопросу — вы рассматривали аналоги? Почему выбрали именно Mesos?

Я в каком-то виде ниже ответил.
Docker Swarm и Cubernetes это скорее аналоги Marathon, а мы опять же решали другую задачу.
Чем лучше Yarn + Airflow? Ваш планировщик задач умный? Он набирает статистику по джобам и оптимизирует время работы отдельных тасков и пропускную способность кластера? Если да, раскажите про планировщик)
Чем лучше Yarn + Airflow?

Я честно говоря не очень понял что надо сравнить с «Yarn + Airflow».
Можно сравнивать Mesos с Yarn, тут выбор сделан в пользу Mesos, потому что у него есть родной Python интерфейс и модель работы очень хорошо «мапится» на наши задачи.
Какую-то часть нашей системы можно сравнить с Airflow, но когда он стал публичным у нас уже был свой :)

Про планировщик ничего интересного рассказать не могу. Там никакого Rocket-Science пока нет.
27 июля выпустили версию 1.0.
Есть ли там существенные отличия или эти примеры тоже должны работать?

Из изменений которые мы заметили, это введение обязательных параметров при запуске самого Mesos.
В частности это приводит к непонятому сообщению об ошибке при запуске mesos-local https://issues.apache.org/jira/browse/MESOS-5613
Которое чинится путем задания переменной окружения MESOS_WORK_DIR.

Если запустить удалось, то дальше примеры должны работать.
Две статьи о том как Вы запускаете из очереди задачи на нескольких машинах? А расскажите по подробнее почему Вы используете именно эту систему? Какой профит от использования системы? Почему не используете просто получение задачи с серверя брокера AMQP в цикле?
Просто передавать задачи в виде сообщений можно.

До перехода на Mesos примерно так и было. Но нужно самим разрабатывать и реализовывать учет свободных ресурсов, отслеживание статусов задач (которые кроме как запуститься и завершиться могут еще упасть и потеряться). Еще сложнее все становится, когда возникает задача честного распеределения ресурсов между разными очередями, или изоляции запускаемых задач. Mesos что-то из этого реализует, для части предоставляет удобный API.
Sign up to leave a comment.