0
ответов
«Контейнер убит YARN за превышение пределов памяти. 10,4 ГБ из 10,4 ГБ используемой физической памяти »в кластере EMR с 75 ГБ памяти
Я использую кластер Spark с 5 узлами на AWS EMR каждого размера m3.xlarge (1 ведущий 4 подчиненных). Я успешно просмотрел сжатый CSV-файл размером 146 Мб bzip2 и в результате получил идеально агрегированный результат. ...
вопрос задан: 22 September 2017 17:48
0
ответов
Широковещательная переменная Spark возвращает исключение NullPointerException при запуске в кластере Amazon EMR
Переменные, которыми я делюсь через широковещание, в кластере являются нулевыми Мое приложение довольно сложное, но я написал этот небольшой пример, который работает безупречно, когда я запускаю его локально, но в ...
вопрос задан: 8 July 2015 21:11
0
ответов
Как сделать таблицу HIVE из данных JSON?
Я хочу создать таблицу Hive из некоторых данных JSON (, вложенных ), и выполнять к ней запросы? Это вообще возможно? Мне удалось загрузить файл JSON на S3 и запустить экземпляр EMR, но я не...
вопрос задан: 2 February 2014 22:19
0
ответов
Как скопировать файлы из S3 в Amazon EMR HDFS?
Я использую куст поверх EMR, и мне нужно скопировать некоторые файлы во все экземпляры EMR. Один из способов, насколько я понимаю, - это просто скопировать файлы в локальную файловую систему на каждом узле, другой - скопировать файлы в ...
вопрос задан: 3 September 2012 17:11
0
ответов
Экспорт таблицы Hive в ведро S3
Я создал таблицу Hive через интерактивную сессию Elastic MapReduce и заполнил ее из файла CSV следующим образом: CREATE TABLE csvimport(id BIGINT, time STRING, log STRING)
ФОРМАТ СТРОК РАЗДЕЛЕННЫЙ
...
вопрос задан: 28 February 2012 20:48
0
ответов
Как указать сопоставленные конфигурации и параметры java с настраиваемым jar-файлом в CLI с помощью Amazon EMR?
Я хотел бы знать, как указать конфигурации mapreduce, такие как mapred.task.timeout, mapred.min.split.size и т. Д. при запуске задания потоковой передачи с использованием настраиваемого файла jar. Мы можем использовать следующий способ ...
вопрос задан: 14 February 2012 20:45