Как эффективно читать и писать паркетные файлы?

Question

Как эффективно читать и писать паркетные файлы?

Я собираюсь перечислить 3 разных подхода к решению этой проблемы:

Использование очень легкого пакета npm: установите live-server , используя npm install -g live-server. Затем перейдите в этот каталог, откройте терминал и введите live-server и нажмите enter, страница будет отправлена на localhost:8080. БОНУС: он также поддерживает горячую перезагрузку по умолчанию.
Используя небольшое приложение Google Chrome , разработанное Google: затем установите приложение, перейдите на вкладку приложений в Chrome и откройте приложение. , В приложении укажите его в нужную папку. Ваша страница будет подана!
Изменение ярлыка Chrome в окнах: создание ярлыка браузера Chrome. Щелкните правой кнопкой мыши значок и откройте свойства. В свойствах отредактируйте target до "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --disable-web-security --user-data-dir="C:/ChromeDevSession" и сохраните. Затем с помощью Chrome откройте страницу с помощью ctrl+o. ПРИМЕЧАНИЕ. НЕ используйте этот ярлык для регулярного просмотра.

0

java hadoop parquet

задан Himanshu Yadav 13 July 2018 в 15:24

1 ответ

Другие вопросы по тегам:

java hadoop parquet

Похожие вопросы:

score 0 · Answer 1

То, чего вы пытаетесь достичь, уже возможно с помощью команды merge в parquet-tools . Однако не рекомендуется слить небольшие файлы, так как он фактически не объединяет группы строк, а только помещает их один за другим (точно так, как вы описываете это в своем вопросе). Результирующий файл, вероятно, будет иметь плохие характеристики производительности.

Если вы хотите его реализовать самостоятельно, вы можете увеличить размер кучи или изменить код так, чтобы он не читайте все файлы в памяти перед записью нового файла, а вместо этого читайте их один за другим (или даже лучше, rowgroup by rowgroup) и сразу же записываете их в новый файл. Таким образом вам останется только сохранить в памяти один файл или группу строк.