MapReduce Amazon никакое задание редуктора
Я пытаюсь создать картопостроитель только задание через AWS (задание потоковой передачи). Поле редуктора требуется, таким образом, я даю фиктивный исполняемый файл и добавляю-jobconf mapred.map.tasks=0 к полю Extra Args. В hadoop среде (версия 0.20) я установил, никакие задания редуктора не запустятся, но в AWS фиктивные исполняемые запуски и сбои.
Как не может выполнить редуктор / картопостроитель только задания в AWS?
2 ответа
вы также можете использовать cat или NONE в качестве аргумента редуктора.
Это бесплатно (как в пиве, не источник, к сожалению): http://www.campwoodsw.com/sourcemonitor.html
Это немного грубо по краям, но делает работу.
-121--2444755-Если запрос 60K, это признак того, что вы делаете это неправильно.
Нет другого способа упорядочить результирующий набор, кроме использования предложения ORDER BY. Вы можете иметь сложное предложение CASE в своем порядке, снова перечисляя все элементы в предложении IN, но тогда ваш запрос, вероятно, будет 120K.
Я знаю, что вы не хотите, но вы должны поместить значения в предложении IN в таблицу или временную таблицу и присоединиться к ней. Кроме того, во временную таблицу можно включить столбец SortOrder. Базы данных, такие как соединения. Выполнение этого пути поможет выполнить запрос.
-121--1356909-Невозможно создать задание отображения только в amazon M/R. Вместо этого я использую редуктор Identity (org.apache.hadoop.mapred.lib.IdentityReducer).