Как я управляю именем выходных файлов и содержанием Hadoop, передающего задание потоком?
Ни одно из предложенных решений не работает для меня.
Но этот делает:
// Hide the back button
mActionBar.setHomeAsUpIndicator(null);
Это своего рода хак (решение последней инстанции), поэтому, чтобы снова показать панель действий, нужно снова установить ее значок.
2 ответа
Использование класса Java, производного от MultipleOutputFormat, в качестве формата вывода заданий позволяет управлять именами выходных файлов. http://hadoop.apache.org/core/docs/current/api/org/apache/hadoop/mapred/lib/MultipleOutputFormat.html
При использовании потоковой передачи Hadoop http://hadoop.apache.org/docs/mapreduce/current/api/org/apache/hadoop/mapreduce/lib/output/MultipleOutputs.html
В общем, Hadoop предлагает вам рассматривать весь каталог как вывод, а не отдельный файл. Невозможно напрямую управлять именем файла, будь то потоковая передача или обычные задания Java.
Однако ничто не мешает вам сделать это разделение и переименование себя после того, как работа будет завершена. Вы можете $ HADOOP dfs -cat path / to / your / output / directory / part- * и передать его вашему скрипту, который разбивает контент по ключам и записывает его в новые файлы.