0
ответов
Как выполнить внешнее объединение двух столбцов в Pig Latin
Я выполняю внешние объединения для отдельных столбцов в Pig, как этот результат = СОЕДИНЕНИЕ A по идентификатору LEFT OUTER, B по идентификатору; Как мне объединить два столбца, например - WHERE A.id = B.id И A.name = B.name Что такое свинья ...
вопрос задан: 9 November 2011 04:14
0
ответов
Как заставить Hadoop находить импортированные модули Python при использовании UDF Python в Pig?
Я использую Pig (0.9.1) с UDF, написанными на Python. Скрипты Python импортируют модули из стандартной библиотеки Python. Мне удалось запустить сценарии Pig, которые успешно вызывают UDF Python, в ...
вопрос задан: 20 October 2011 05:47
0
ответов
генерация идентификатора / счетчика для foreach на латинском языке
Я хочу, чтобы какой-то уникальный идентификатор / номер_строки / счетчик был сгенерирован / добавлен в мою конструкцию foreach во время итерации по записям. Есть ли способ сделать это без написания UDF? ...
вопрос задан: 3 October 2011 15:44
0
ответов
Присоединение к COGROUP в PIG
Есть ли какие-либо преимущества (по сравнению с производительностью / уменьшением количества карт), когда я использую COGROUP вместо JOIN в PIG? http://developer.yahoo.com/hadoop/tutorial/module6.html рассказывает о разнице в ...
вопрос задан: 21 September 2011 07:23
0
ответов
Как загрузить каждый файл в папку с помощью PIG?
У меня есть папка с файлами, созданная ежедневно, в которой хранится один и тот же тип информации. Я хотел бы сделать скрипт, который загрузит новейшие 10 из них, UNION их, а затем запустит на них какой-нибудь другой код. ...
вопрос задан: 7 September 2011 20:38
0
ответов
Как заставить свинью работать с файлами LZO?
Итак, я видел пару учебников для этого онлайн, но каждый, кажется, скажет что-то другое. Кроме того, каждый из них, похоже, не указывает, пытаетесь ли вы получить вещи для работы на пульте ...
вопрос задан: 1 September 2011 23:07
0
ответов
Проблема с разрешениями Apache Pig
Я пытаюсь запустить Apache Pig в моем кластере Hadoop, но у меня возникает проблема с разрешениями. Сам Pig запускается и подключается к кластеру просто отлично - из Pig ...
вопрос задан: 25 August 2011 16:38
0
ответов
Способ экспорта результатов из Pig в базу данных
Есть ли способ экспортировать результаты из Pig непосредственно в базу данных, такую как mysql?
вопрос задан: 27 June 2011 03:40
0
ответов
Что делать с пустыми или отсутствующими входными файлами в Apache Pig?
В нашем рабочем процессе используется кластер сокращения эластичной карты AWS для выполнения серии заданий Pig для манипулирования большим объемом данных в агрегированные отчеты. К сожалению, входные данные потенциально несовместимы, ...
вопрос задан: 20 April 2011 23:20
0
ответов
Как обрезать строку заголовка из файлов, обработанных Hadoop's Pig?
Я пытаюсь проанализировать файлы данных с разделением табуляцией, созданные нашими службами, с помощью Amazon Elastic Map Reduce с помощью программы Pig. Дела идут хорошо, за исключением того, что все наши файлы данных содержат заголовок ...
вопрос задан: 17 March 2011 23:02
0
ответов
Макс. / Мин. Для всех наборов записей в PIG
У меня есть набор записей, которые я загружаю из файла, и первое, что мне нужно сделать, это получить макс и мин столбца. В SQL я бы сделал это с помощью такого подзапроса: select c.state, c ....
вопрос задан: 7 March 2011 18:17
0
ответов
Как разобрать JSON в Pig?
У меня много файлов журнала, сжатых с помощью gzip, в s3, которые имеют 3 типа строк журнала: b, c, i. i и c являются одноуровневыми json: {"this": "that", "test": "4"} Тип b - это глубоко вложенный json. Я натолкнулся на эту суть ...
вопрос задан: 16 February 2011 05:59
0
ответов
Как хранить сжатые файлы с помощью PigStorage в Apache Pig?
Apache Pig v0.7 может читать сжатые файлы без дополнительных усилий с моей стороны, например: MyData = LOAD '/tmp/data.csv.gz 'USING PigStorage (', ') AS (timestamp, user, url); я могу обработать эти данные и вывести их ...
вопрос задан: 11 February 2011 12:12
0
ответов
Оптимальный размер мозаичных фоновых изображений CSS
Часто утверждается, что при мозаичном размещении фона веб-страницы с фоновым изображением, эта производительность лучше с изображением большего размера из-за того, что его нужно реже размещать мозаикой. Для ...
вопрос задан: 8 February 2011 11:53
0
ответов
Могу ли я разделить команду на несколько строк в Apache Pig Latin?
У меня есть очень длинные строки в виде выражений Apache Pig (Latin). Есть ли способ разбить их на несколько строк? Я пробовал использовать обратную косую черту в конце безрезультатно, как только я нажимаю ввод (...
вопрос задан: 27 January 2011 12:43
0
ответов
Преобразовать «3» в 3 с помощью PigLatin
Я прочитал в CSV -файл, содержащий поля с такими числами: «3».
Могу ли я преобразовать эти поля из "3" в 3 с помощью PigLatin? Мне нужно использовать функцию СУММ (). Спасибо за вашу помощь!
вопрос задан: 8 December 2010 16:04
0
ответов
Hadoop Pig: передача аргументов командной строки
Есть ли способ сделать это? например, передать имя файла для обработки, и т. д.?
вопрос задан: 12 November 2010 15:29
0
ответов
How can I use the map datatype in Apache Pig?
I'd like to use Apache Pig to build a large key -> value mapping, look things up in the map, and iterate over the keys. However, there does not even seem to be syntax for doing these things; I've ...
вопрос задан: 1 November 2010 14:07
0
ответов
Существует ли каноническая проблема, с которой доказуемо нельзя помочь, отображают/уменьшают?
Я пытаюсь понять границы hadoop и отобразить/уменьшить, и он помог бы знать нетривиальную проблему или класс проблем, которые мы знаем, отображают/уменьшают, не может помочь в. Это, конечно, было бы...
вопрос задан: 5 August 2010 05:10