0
ответов
Как эффективно копировать файлы из HDFS в S3 программно
Мое задание hadoop генерирует большое количество файлов в HDFS, и я хочу написать отдельный поток, который будет копировать эти файлы из HDFS в S3. Может ли кто-нибудь указать мне на какой-нибудь java API, который его обрабатывает. ...
вопрос задан: 14 September 2010 18:09
0
ответов
Кто-нибудь считает каскадирование для Hadoop Map Reduce полезным?
Я пробовал использовать каскадирование, но не вижу никаких преимуществ перед классическим подходом сокращения карты для написания заданий. Задания Map Reduce дают мне больше свободы, и Cascading, кажется, добавляет много ...
вопрос задан: 10 September 2010 00:20
0
ответов
Добавление нескольких файлов в распределенный кеш Hadoop?
Я пытаюсь добавить несколько файлов в hadoop распределенный кеш. На самом деле я не знаю имен файлов. Они будут названы как part-0000 *. Может кто-нибудь сказать мне, как это сделать? Спасибо
Бала
вопрос задан: 3 September 2010 02:41
0
ответов
Сортировка больших данных с помощью MapReduce / Hadoop
Я читаю о MapReduce, и следующее меня смущает. Предположим, у нас есть файл с 1 миллионом записей (целых чисел), и мы хотим отсортировать их с помощью MapReduce. Путь, который я понял ...
вопрос задан: 2 September 2010 06:46
0
ответов
Spring-Batch для массовой ночной / почасовой обработки данных Hive / MySQL
I ' Я собираюсь заменить несколько сценариев Python ETL, которые выполняют еженедельную / почасовую сводку данных и сбор статистики для огромного количества данных. Чего я хотел бы добиться, так это Robustness - ...
вопрос задан: 16 August 2010 16:52
0
ответов
Как метод RunJar Hadoop распределяет файлы класса/банки через узлы?
Я пытаюсь использовать JIT-компиляцию в clojure для генерации картопостроителя и классов редуктора на лету. Однако эти классы не распознаются JobClient (это - обычный ClassNotFoundException.)...
вопрос задан: 9 August 2010 22:06
0
ответов
Существует ли каноническая проблема, с которой доказуемо нельзя помочь, отображают/уменьшают?
Я пытаюсь понять границы hadoop и отобразить/уменьшить, и он помог бы знать нетривиальную проблему или класс проблем, которые мы знаем, отображают/уменьшают, не может помочь в. Это, конечно, было бы...
вопрос задан: 5 August 2010 05:10
0
ответов
Как сослаться на подклассы статических классов Java с дженериками в Scala
У меня есть этот код Java: общедоступный класс TestMapper расширяет AppEngineMapper <Ключ, Объект, NullWritable, NullWritable> {общедоступный TestMapper () {}//[... другие переопределенные методы...]...
вопрос задан: 26 July 2010 12:47
0
ответов
Hadoop в окнах: файл, не найденный исключением
Я использую hadoop в окнах, и я настроил все хорошее (устанавливающий cygwin, ssh без пароля и т.д.) я скомпилировал wordcount программу в WC.jar и попытался работать. Его выполнение отлично в...
вопрос задан: 24 July 2010 11:38
0
ответов
Сколько Java нужно использовать Hadoop и Mahout эффективно?
Я - разработчик PHP. Позвольте нам просто избавиться от этого теперь. Но Hadoop – и Mahout в особенности – возбудили мой интерес. Я готов взять погружение в Java для использования их. Таким образом от людей...
вопрос задан: 22 July 2010 18:21
0
ответов
Где делает hadoop mapreduce, платформа отправляют мои операторы System.out.print()? (stdout)
Я хочу отладить mapreduce сценарий, и не входя в большую проблему пытался поместить некоторые операторы печати в мою программу. Но я, может казаться, не нахожу их ни в одном из журналов.
вопрос задан: 8 July 2010 08:34
0
ответов
Структура Списка смежности в HBase
Я пытаюсь реализовать следующий алгоритм сокращения графика в графике, неориентированный взвешенный график, я хочу снять все узлы только с двумя соседями и обновить веса, Взглянули...
вопрос задан: 25 June 2010 11:12