Comments 5
Спасибо.
Более того, hadoop не гарантирует того, что комбинирующая функция вообще будет выполнена для выхода mapper’a. Поэтому комбинирующая функция не всегда применима, например, в случае поиска медианного значения по ключу.
Вот этот момент можно было бы поподробнее расписать.
Более того, hadoop не гарантирует того, что комбинирующая функция вообще будет выполнена для выхода mapper’a. Поэтому комбинирующая функция не всегда применима, например, в случае поиска медианного значения по ключу.
Вот этот момент можно было бы поподробнее расписать.
Для того чтобы найти медиану необходимо отсортировать все значения в порядке возрастания и выбрать элемент находящийся посередине. Для того чтобы ключи отсортировать — надо знать все значения, относящиеся к ключу. Поэтому это сделать можно только в редьюсере. Комбайнер агрегирует только часть значений, поэтому не применим в случае вычисления медианы.
Интересует вопрос профилирования MapReduce-задач — какими средствами это делается.
Sign up to leave a comment.
Big data от А до Я. Часть 3: Приемы и стратегии разработки MapReduce-приложений