Как разобрать JSON в Pig?

У меня в s3 есть много файлов журнала с gzip-архивом, в которых есть 3 типа строк журнала: b, c, i. i и c являются одноуровневыми json:

{"this":"that","test":"4"}

Тип b - это глубоко вложенный json. Я наткнулся на эту суть , в которой говорилось о компиляции jar-файла для выполнения этой работы. Поскольку мои навыки работы с java невысоки, я действительно не знал, что делать дальше.

{"this":{"foo":"bar","baz":{"test":"me"},"total":"5"}}

Поскольку типы i и c не всегда находятся в одном и том же порядке, это затрудняет определение всего в генерации регулярного выражения. Возможна ли обработка JSON (в файле gzip'd) с помощью Pig? Я использую ту версию Pig, которая создана на инстансе Amazon Elastic Map Reduce.

Это сводится к двум вопросам:

{"this":"that","test":"4"}

Тип b - это глубоко вложенный json. Я наткнулся на эту суть , в которой говорилось о компиляции jar-файла для выполнения этой работы. Поскольку мои навыки работы с java невысоки, я действительно не знал, что делать дальше.

{"this":{"foo":"bar","baz":{"test":"me"},"total":"5"}}

Поскольку типы i и c не всегда находятся в одном и том же порядке, это затрудняет определение всего в генерации регулярного выражения. Возможна ли обработка JSON (в файле gzip'd) с помощью Pig? Я использую ту версию Pig, которая создана на инстансе Amazon Elastic Map Reduce.

Это сводится к двум вопросам:

{"this":"that","test":"4"}

Тип b - это глубоко вложенный json. Я наткнулся на эту суть , в которой говорилось о компиляции jar-файла для выполнения этой работы. Поскольку мои навыки работы с java невысоки, я действительно не знал, что делать дальше.

{"this":{"foo":"bar","baz":{"test":"me"},"total":"5"}}

Поскольку типы i и c не всегда находятся в одном и том же порядке, это затрудняет определение всего в генерации регулярного выражения. Возможна ли обработка JSON (в файле gzip'd) с помощью Pig? Я использую ту версию Pig, которая создана на инстансе Amazon Elastic Map Reduce.

Это сводится к двум вопросам: Возможна ли обработка JSON (в файле gzip'd) с помощью Pig? Я использую ту версию Pig, которая создана на инстансе Amazon Elastic Map Reduce.

Это сводится к двум вопросам: Возможна ли обработка JSON (в файле gzip'd) с помощью Pig? Я использую ту версию Pig, которая создана на инстансе Amazon Elastic Map Reduce.

Это сводится к двум вопросам: 1) Могу ли я разобрать JSON с помощью Pig (и если да, то как)? 2) Если я могу разобрать JSON (из gzip-файла журнала), могу ли я проанализировать вложенные объекты JSON?

19
задан Eric Lubow 16 February 2011 в 05:59
поделиться