15
ответов
Самый быстрый способ слияния больших наборов данных [дубликат]
Переработка текущего процесса с двумя кадрами данных. DF1 - строки из 65kish, 15 столбцов DF2 - 300kish строк, 270 столбцов. Мы объединяем zip как таковой: newdf & lt;-merge (df1, df2, by.x = "ZipA", by.y = ...
вопрос задан: 22 March 2017 17:14
11
ответов
Как читать данные с S3, используя Sparklyr в R (в EC2)? [Дубликат]
Я попробовал почти 100 кодов, доступных в Github / Stackoverflow, чтобы достичь своей цели, но все напрасно .... Итак, вот код, который я пытался получить для S3-файлов данных из Sparklyr в RStudio ...
вопрос задан: 30 November 2016 10:27
2
ответа
Функция для преобразования типов R в типы Spark
У меня есть фрейм данных R, который я хотел бы преобразовать в фрейм данных Spark на удаленном кластере. Я решил записать свой фрейм данных в промежуточный CSV-файл, который затем читается с использованием sparklyr :: ...
вопрос задан: 28 March 2019 05:39
2
ответа
выберите таблицу из базы данных в R [дубликат]
Я использую dbplyr для выбора таблицы из удаленной базы данных с помощью Rstudio. Я подключился к Spark на сервере, используя livy. Он показывает мне базы данных, которые у меня есть, но когда я пытаюсь получить доступ к одной из таблиц ...
вопрос задан: 19 May 2017 13:24
1
ответ
Как изменить & ldquo; организовать & rdquo; в спарклер?
Вот мой пример my_df < - data.frame (letters_col = sample (letters, 50, replace = TRUE), numbers_col = rnorm (100), stringsAsFactors = FALSE)% >% ...
вопрос задан: 1 February 2019 03:19
1
ответ
Sparklyr заполнить строкой
Я хотел бы заполнить значения (заменив NA на предыдущее значение) на фрейме данных sparklyr, поле содержит строки. По сути, я хотел бы преобразовать это: ID, String 1 a 2 NaN 3 b 4 ...
вопрос задан: 18 January 2019 11:53
1
ответ
Sparklyr поддерживает Spark 2.3.1
Я загрузил искру версии 2.3.1, и я получил следующую ошибку: Ошибка в spark_version_from_home (spark_home, default = spark_version): Не удалось обнаружить версию из SPARK_HOME или ...
вопрос задан: 13 July 2018 08:00
0
ответов
sparklyr spark_read_parquet от s3 ошибка
Когда я читаю паркетный файл на s3 из контекста sparklyr следующим образом: {spark_read_parquet (sc, name = "parquet_test", path = "s3a: // < path-to-file >")} Это выдает мне ошибку, которая : Вызванный: ...
вопрос задан: 28 March 2019 03:01