Hadoop, как сжимать вывод mapper, но не вывод reducer

У меня есть java-программа map-reduce, в которой я пытаюсь сжимать только вывод mapper, но не вывод reducer. Я подумал, что это возможно, установив следующие свойства в экземпляре Configuration, как указано ниже. Однако, когда я запускаю свою работу, сгенерированный редуктором вывод по-прежнему сжимается, поскольку сгенерированный файл имеет вид: part-r-00000.gz. Кто-нибудь успешно сжал данные картографа, но не редуктор? Это вообще возможно?

// Сжать выходные данные маппера

conf.setBoolean("mapred.output.compress", true);
conf.set("mapred.output.compression.type", CompressionType.BLOCK.toString());
conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class);
25
задан analyticalpicasso 11 July 2014 в 11:04
поделиться