Сбой задания AWS GLUE при работе с разделенными файлами Parquet во вложенных папках s3

В дополнение к ответу @ NoahD

Чтобы иметь более высокую точность, вы можете отличить ее до десятичной:

(decimal)100/863
//0.1158748551564310544611819235

Или:

Decimal.Divide(100, 863)
//0.1158748551564310544611819235

Двойной точность 64 бит, а десятичная - 128

(double)100/863
//0.11587485515643106
0
задан Hongarc 18 January 2019 в 09:35
поделиться

2 ответа

Если вы укажете прямо на папку раздела, то папка раздела больше не будет столбцом в схеме таблицы. Лучше использовать предикат pushdown - https://aws.amazon.com/blogs/big-data/work-with-partitioned-data-in-aws-glue/ , указывая на верхнюю папку.

0
ответ дан Sandeep Fatangare 18 January 2019 в 09:35
поделиться

Я нашел решение здесь - это работает для меня Firehose JSON - > S3 Паркет - > ETL Spark, ошибка: невозможно определить схему для паркета

Это скала-версия задания клея ETL

0
ответ дан Igs 18 January 2019 в 09:35
поделиться
Другие вопросы по тегам:

Похожие вопросы: