2
ответа

Как проверить количество разделов в Spark DataFrame, не неся стоимости .rdd

Есть несколько вопросов о том, как получить количество разделов n RDD и / или DataFrame: ответы неизменно: rdd.getNumPartitions или df.rdd.getNumPartitions ...
вопрос задан: 19 January 2019 20:15
1
ответ

SQL Newbie - через раздел?

У меня есть следующий запрос. Я пытаюсь увеличить число строк при изменении значения в поле Value1. Таблица SensorData имеет 2800 записей, а Value1 равно 0 или 3 и изменяется ...
вопрос задан: 19 January 2019 12:43
1
ответ

Предоставление ключа секционирования для секционированной таблицы увеличивает стоимость запроса

Я работаю над веб-приложением, которое запрашивает таблицы, содержащие большие объемы данных. Из-за проблем с производительностью пользовательского интерфейса - я изучал способы повышения производительности в долгосрочной перспективе ...
вопрос задан: 18 January 2019 17:47
1
ответ

Поиск определенной файловой системы в Bash

У меня есть задача, которая просит написать скрипт, который отображает все разделы, отформатированные с определенной файловой системой, заданной как параметр Я написал сценарий, но когда я запускаю его, он отображает «0». Какие ...
вопрос задан: 17 January 2019 00:32
1
ответ

как это & ​​ldquo; Exchange hashpartitioning & rdquo; работает в искре

У меня есть набор данных, который я хочу записать, отсортированный в файлы паркета, чтобы впоследствии получить выгоду от запроса этих файлов через Spark, включая Predicate Pushdown. В настоящее время я использовал перераспределение ...
вопрос задан: 16 January 2019 11:20
0
ответов

Несоответствие данных Hive Bucket Join (SMB) при объединении таблиц с таблицами секционирования и таблицами

У меня есть запрос улья, где он объединяется с 4 таблицами. Все таблицы разбиты по дате и объединены в соответствующие ключевые столбцы. Таблица A (Основная таблица) - разделена по дате и сгруппирована по C1, C2, C3, C4 ...
вопрос задан: 19 January 2019 07:03
0
ответов

Oracle & #39;Разделение по& #39; и & #39;Строка _Номер& #39; ключевое слово

У меня есть SQL-запрос, написанный кем-то другим, и я пытаюсь понять, что он делает. Может кто-нибудь объяснить, что здесь делают ключевые слова Partition By и Row _Number, и привести простой пример...
вопрос задан: 5 April 2018 05:40