Comments 10
Не совсем понял про другие языки: преобразование в JSON и обратно проихсодит каждый раз при взаимодействии с другими языками? А это не убивает пропускную способность.
И ещё: можно ли болты выстраивать в цепочку, направляя данные с одного на другой?
И да, про кластер и защиту от потери данных интересно :)
И ещё: можно ли болты выстраивать в цепочку, направляя данные с одного на другой?
И да, про кластер и защиту от потери данных интересно :)
Да, преобразование происходит каждый раз. Расчет на то, что расходы на преобразования перекрываются бонусом от быстрого написания. Естественно, для достижения большой пропускной способности лучше писать на Java.
> И ещё: можно ли болты выстраивать в цепочку, направляя данные с одного на другой?
Да, в последнем примере CalcApp так и сделано Spout->ClientIdBolt->RaterBolt->PrintOutBolt.
> И ещё: можно ли болты выстраивать в цепочку, направляя данные с одного на другой?
Да, в последнем примере CalcApp так и сделано Spout->ClientIdBolt->RaterBolt->PrintOutBolt.
Тут должна быть отличная шутка про забивание болта, но мне лень ее расписывать.
UFO just landed and posted this here
Есть различия. Spark производит вычисления на определенном конечном наборе данных, по-сути это сильно ускоренный Hadoop. Storm это streaming обработка, вычисление идет на постоянно приходящих данных.
P.S.: Spark обещает реализацию discretized streams к августу. Возможно это будет быстрее storm-а, за счет пакетной обработки.
P.S.: Spark обещает реализацию discretized streams к августу. Возможно это будет быстрее storm-а, за счет пакетной обработки.
UFO just landed and posted this here
Вы правы, похоже у меня устаревшая информация. В 0.7.0 они зарелизили альфа версию стриминга.
Я как-то пытался прикрутить этот шторм в проект. Самое забавное — это разбираться в потрохах трейса от кложури что мол не найден какой-то метод. Как оказалось, там важны все зависимости до последней цифры в версии, и на какой-то из них все споткнулось.
В общем, выбросил я его из проекта по итогу.
В общем, выбросил я его из проекта по итогу.
Sign up to leave a comment.
Изучаем Storm Framework. Часть I