18
ответов
Какой язык я мог использовать для быстрого выполнения этой задачи реферирования базы данных?
Таким образом, я записал программу Python для справлений с небольшой задачей обработки данных. Вот очень краткая спецификация на искусственном языке вычисления, которое я хочу: проанализируйте "%s %lf %s" aa bb cc | group_by aa |...
вопрос задан: 29 September 2009 18:34
4
ответа
Различие между Свиньей и Hive? Почему оба имеют? [закрытый]
Мое образование - 4 недели в мире Hadoop. Плескавшийся немного в Hive, Pig и Hadoop с помощью Hadoop VM Cloudera. Прочитали газету Google на MapReduce и GFS (ссылка PDF). Я понимаю это - Свинья...
вопрос задан: 5 January 2015 03:23
3
ответа
Справочник для [закрытой] латыни Свиньи Apache
Свинья является средой программирования потока данных для обработки очень больших файлов. Язык свиньи называют латынью Свиньи. Кто-либо знает о хорошем справочнике для PigLatin? Я ищу что-то это...
вопрос задан: 27 December 2016 02:46
3
ответа
Regexp, соответствующий у свиньи
Используя апачскую свинью и текст hahahah. мой брат просто не сделал ничего плохого. Он обманул по поводу теста?ни за что! Я пытаюсь соответствовать "своему брату, просто не сделал ничего плохого". Идеально, я хотел бы...
вопрос задан: 19 July 2010 21:42
3
ответа
Как использовать Карту Cassandra, Уменьшают с или w/o Свинья?
Кто-то может объяснить, как MapReduce работает с Cassandra.6? Я прочитал пример для подсчета количества слов, но я не вполне следую за тем, что происходит на конце Cassandra по сравнению с "клиентским" концом. https://svn....
вопрос задан: 29 April 2010 00:17
3
ответа
Разделение входа в подстроки у СВИНЬИ (Hadoop)
Предположите, что у меня есть следующий вход у Свиньи: некоторые И я хотели бы преобразовать это в: s так som некоторые я еще не нашел способ выполнить итерации по chararray на латыни свиньи. Я нашел МАРКИРОВАНИЕ...
вопрос задан: 9 September 2009 14:52
2
ответа
Pig Latin: загрузка нескольких файлов из диапазона дат (часть структуры каталога)
У меня есть следующие Сценарий - используется версия 0,70 Пример структуры каталогов HDFS:
/ пользователь / обучение / тестирование / 20100811 / <файлы данных>
/user/training/...
вопрос задан: 26 August 2010 19:10
2
ответа
Объединение нескольких файлов в один в Hadoop
Я помещаю несколько маленьких файлов в мой входной каталог, который хочу объединить в один файл, не используя локальную файловую систему и не записывая mapreds. Есть ли способ, которым я мог бы сделать это, используя hadoof fs ...
вопрос задан: 23 August 2010 13:59
1
ответ
считая жанры у свиньи
Я имею дело с набором данных movies.dat, предоставленным movielensdata. Первые 5 строк данных: 1: История игрушек (1995): Приключения | Анимация | Дети | Комедии | Фэнтези 2: Джуманджи (1995): Приключения | Дети | Фантазия 3: ...
вопрос задан: 29 March 2019 12:35
1
ответ
Как предотвратить свидание Apache из пустых файлов?
У меня есть скрипт свиньи, который читает данные из каталога на HDFS. Данные хранятся как файлы avro. Структура файла выглядит так: DIR-- --Subdir1 --Subdir2 --Subdir3 --Subdir4 В свинье ...
вопрос задан: 13 July 2018 16:51
1
ответ
Ошибка выполнения команды оболочки в свинге
Поэтому я пытаюсь сделать что-то вроде:% DECLARE Variable `cat src / documents / item.json`; Поле фильтра BY = переменная; Но я получаю сообщение об ошибке: ERROR org.apache.pig.Main - java.lang ....
вопрос задан: 13 July 2018 07:30
1
ответ
Выдача исключения у свиньи EvalFunc UDF пропускают просто, что строка, или останавливаются полностью?
Мне записали Определяемую пользователем функцию (UDF) в Java для парсинга строк в файле журнала и информации о возврате назад свинье, таким образом, это может сделать всю обработку. Это выглядит примерно так: общедоступный краткий обзор...
вопрос задан: 29 March 2010 17:49
1
ответ
Храня данные к SequenceFile от Свиньи Apache
Свинья Apache может загрузить данные из файлов последовательности Hadoop с помощью PiggyBank SequenceFileLoader: РЕГИСТР/home/hadoop/pig/contrib/piggybank/java/piggybank.jar; ОПРЕДЕЛИТЕ SequenceFileLoader org.apache.pig....
вопрос задан: 10 March 2010 23:52
0
ответов
Как исправить ошибку Java несовместимого типа для KafkaWritable и Object
Я бегу сценарий свиньи, который использует класс Java. и во время выполнения сценария pig я получаю сообщение об ошибке: 1. несовместимые типы: org.apache.hadoop.hive.kafka.KafkaWritable не может быть преобразовано в org ....
вопрос задан: 7 April 2019 15:33
0
ответов
разница между командами запуска и выполнения утилиты в pig
Команда Apache Pig Utility дает два одинаковых типа команд run и exec для запуска pig-сценария в grunt shell, я смотрю, разница только в том, что run дает гибкость разработчику при взаимодействии
вопрос задан: 15 January 2019 18:51
0
ответов
Загрузка данных в CSV-файл в HBase с использованием Pig
Я пытаюсь загрузить один CSV-файл в таблицу HBase. Я могу успешно сбросить данные из CSV, но при импорте в таблицу я получаю сообщение об ошибке. Но, при загрузке других данных, я могу загрузить любой ...
вопрос задан: 31 December 2018 17:05
0
ответов
strsplit issue - Pig
I have following tuple H1 and I want to strsplit its $0 into tuple.However I always get an error message: DUMP H1:
(item32;item31;,1) m = FOREACH H1 GENERATE STRSPLIT($0, ";", 50); ERROR 1000: ...
вопрос задан: 31 October 2018 15:45
0
ответов
Фильтровать строку на основе слова
У меня есть работа свиньи, где мне нужно отфильтровать данные, находя слово в нем, вот фрагмент a = load '/ home / user / filename' Используя поросяту (',');
B = Foreach A Generate $ 27, $ 38;
C = Фильтр B по ...
вопрос задан: 1 October 2018 18:36
0
ответов
ERROR org.apache.pig.tools.grunt.Grunt - org.apache.pig.tools.pigscript.parser.TokenMgrError: Непревзойденный '}'
Я пытаюсь сохранить HDFS с помощью метода AvroStorage (). Код выглядит так: хранить «данные» в «путь» с помощью AvroStorage («схема», $ SCHEMA) SCHEMA - это переменная, которую я получаю от выполнения cat '/ path / to / ...
вопрос задан: 13 July 2018 20:50
0
ответов
Использование предложения IN с PIG FILTER
Поддерживает ли PIG предложение IN? filter = ФИЛЬТР bba ПО причине не в ('a', 'b', 'c', 'd'); или я должен разделить его на несколько операционных? Спасибо!
вопрос задан: 31 May 2017 11:00
0
ответов
Как разделить таблицу с помощью HIVE?
Я играю с Hive уже несколько дней, но у меня все еще есть проблемы с разделением. Я записываю журналы Apache (формат Combine) в Hadoop в течение нескольких месяцев. Они хранятся в текстовом формате строки,...
вопрос задан: 23 May 2017 12:06
0
ответов
Как Pig использует Hadoop Globs в ' load '?
Как я отмечал ранее, Pig плохо справляется с пустыми (0-байтовыми) файлами. К сожалению, существует множество способов создания этих файлов (даже в служебных программах Hadoop). Я думал, что я ...
вопрос задан: 23 May 2017 12:00
0
ответов
Использование Pig / Hive для обработки данных вместо кода сокращения прямой карты Java?
(Даже более простой, чем разница между Pig и Hive? Почему оба?) У меня есть конвейер обработки данных, написанный в нескольких задачах Java по сокращению карты через Hadoop (мой собственный код, полученный из Hadoop '...
вопрос задан: 23 May 2017 11:50
0
ответов
Выполнение запроса Pig по данным, хранящимся в Hive
Я хотел бы знать, как выполнять запросы Pig, хранящиеся в формате Hive. Я настроил Hive для хранения сжатых данных (с помощью этого руководства http://wiki.apache.org/hadoop/Hive/CompressedStorage). Перед ...
вопрос задан: 23 May 2017 11:45
0
ответов
Рабочий поток свиньи в Хадооп 2.2 Свинья 0,12,1 в 4.1.0
Я пытаюсь выполнить рабочий процесс свиньи. Но рабочий процесс зависает в рабочем состоянии, я проверил файл журнала, я нашел этот файл журнала от менеджера узлов: 2015-02-25 17: 50: 06,322 [JobControl] INFO ...
вопрос задан: 25 February 2015 17:29
0
ответов
PigUnit с Hadoop 2.x
Я пытаюсь использовать PigUnit с Hadoop 2.4.1. У меня есть очень простой сценарий Pig, который я хочу выполнить внутри PigTest, но когда я запускаю этот тест, я получаю следующее исключение: java.lang ....
вопрос задан: 25 February 2015 03:41
0
ответов
Какой лучший плагин Pig для Eclipse?
Я собираюсь начать экспериментировать с PIG-latin и надеялся получить подсветку текста и тому подобное в Eclipse . Выполнив быстрый поиск в Google, я нашел для него несколько плагинов Eclipse. Есть ...
вопрос задан: 6 July 2014 10:07
0
ответов
В чем разница между Apache Pig и Apache Hive?
В чем точная разница между свиньей и ульем? Я обнаружил, что оба имеют одинаковое функциональное значение, потому что они используются для выполнения одной и той же работы. Единственное, это реализация, которая отличается для...
вопрос задан: 18 March 2013 22:54
0
ответов
Как добавить номера строк для строк в PIG или HIVE?
У меня проблема при добавлении номеров строк с помощью Apache Pig.
Проблема в том, что у меня есть столбец STR_ID, и я хочу добавить столбец ROW_NUM для данных в STR_ID, который является номером строки STR_ID. ...
вопрос задан: 7 January 2013 21:31
0
ответов
Разница между локальным режимом PIG и режимом mapreduce
В чем реальная разница между запуском скриптов PIG локально и на mapreduce? Я понимаю, что режим mapreduce — это когда вы запускаете его на кластере с установленным hdfs. Означает ли это, что локальный режим действительно...
вопрос задан: 26 July 2012 12:33