Быстрое чтение очень больших таблиц как данных

Я считываю данные очень быстро использование нового arrow пакет. Это, кажется, находится на довольно ранней стадии.

А именно, я использую паркет колоночный формат. Это преобразовывает назад в data.frame в R, но можно получить еще более глубокие ускорения, если Вы не делаете. Этот формат удобен, поскольку он может использоваться из Python также.

Мой основной вариант использования для этого идет довольно сдержанный сервер RShiny. По этим причинам я предпочитаю сохранять данные присоединенными к Приложениям (т.е. из SQL) и поэтому требовать небольшого размера файла, а также скорости.

Эта связанная статья предоставляет сравнительное тестирование и хороший обзор. Я заключил некоторые интересные моменты в кавычки ниже.

https://ursalabs.org/blog/2019-10-columnar-perf /

Размер файла

таким образом, файл Паркета является вдвое менее большим, чем даже gzipped CSV. Одна из причин, что файл Паркета является настолько маленьким, из-за кодирования словаря (также названа “dictionary compression”). Сжатие словаря может привести к существенно лучшему сжатию, чем использование компрессора байтов общего назначения как LZ4 или ZSTD (которые используются в формате FST). Паркет был разработан для создания очень маленьких файлов, которые быстры для чтения.

Скорость Read

При управлении выходным типом (например, сравнении всего R data.frame выводы друг с другом) мы видим производительность Паркета, Растушевку, и FST находится в пределах относительно маленького поля друг друга. То же верно для панд. Выводы DataFrame. data.table:: освобожденный чрезвычайно конкурентоспособно по отношению к размеру файла на 1,5 ГБ, но изолирует другие на CSV на 2,5 ГБ.

Независимый Тест

я выполнил некоторое независимое сравнительное тестирование на моделируемом наборе данных 1 000 000 строк. В основном я переставил набор вещей вокруг, чтобы попытаться бросить вызов сжатию. Также я добавил поле краткого текста случайных слов и двух моделируемых факторов.

Данные

library(dplyr)
library(tibble)
library(OpenRepGrid)

n <- 1000000

set.seed(1234)
some_levels1 <- sapply(1:10, function(x) paste(LETTERS[sample(1:26, size = sample(3:8, 1), replace = TRUE)], collapse = ""))
some_levels2 <- sapply(1:65, function(x) paste(LETTERS[sample(1:26, size = sample(5:16, 1), replace = TRUE)], collapse = ""))


test_data <- mtcars %>%
  rownames_to_column() %>%
  sample_n(n, replace = TRUE) %>%
  mutate_all(~ sample(., length(.))) %>%
  mutate(factor1 = sample(some_levels1, n, replace = TRUE),
         factor2 = sample(some_levels2, n, replace = TRUE),
         text = randomSentences(n, sample(3:8, n, replace = TRUE))
         )

Read и Запись

Запись данных легка.

library(arrow)

write_parquet(test_data , "test_data.parquet")

# you can also mess with the compression
write_parquet(test_data, "test_data2.parquet", compress = "gzip", compression_level = 9)

Чтение данных также легко.

read_parquet("test_data.parquet")

# this option will result in lightning fast reads, but in a different format.
read_parquet("test_data2.parquet", as_data_frame = FALSE)

я протестировал чтение этих данных против нескольких конкурирующих опций и действительно получал немного отличающиеся результаты, чем со статьей выше, которая ожидается.

Этот файл нигде не является рядом столь же большим как статья сравнительного теста, настолько возможно, который различие.

Тесты

• rds: test_data.rds (20,3 МБ)
• parquet2_native: (14,9 МБ с более высоким сжатием и as_data_frame = FALSE)
• parquet2: test_data2.parquet (14,9 МБ с более высоким сжатием)
• паркет: test_data.parquet (40,7 МБ)
• fst2: test_data2.fst (27,9 МБ с более высоким сжатием)
• fst: test_data.fst (76,8 МБ)
• fread2: test_data.csv.gz (23.6 МБ)
• освобожденный: test_data.csv (98.7 МБ)
• feather_arrow: test_data.feather (чтение на 157,2 МБ с arrow)
• растушевка: test_data.feather (чтение на 157,2 МБ с feather)

Наблюдения

Для этого конкретного файла, fread на самом деле очень быстр. Мне нравится небольшой размер файла от очень сжатый parquet2 тест. Я могу инвестировать время для работы с собственным форматом данных, а не data.frame, если мне действительно нужна скорость.

Здесь fst также большой выбор. Я или использовал бы очень сжатый fst формат или очень сжатый parquet в зависимости от того, если бы мне была нужна скорость, или размер файла обменивают.

Ранее спрашивали на R-Help , так что это стоит обзор.

Было предложено использовать readChar () , а затем выполнять строковые манипуляции с результатом с помощью strsplit () и substr () . Вы можете видеть, что логика, задействованная в readChar, намного меньше, чем в read.table.

Я не знаю, является ли здесь проблема с памятью, но вы также можете взглянуть на HadoopStreaming пакет . Этот использует Hadoop , который представляет собой структуру MapReduce, предназначенную для работы с большими наборами данных. Для этого вы должны использовать функцию hsTableReader. Это пример (но для изучения Hadoop необходимо время):

str <- "key1\t3.9\nkey1\t8.9\nkey1\t1.2\nkey1\t3.9\nkey1\t8.9\nkey1\t1.2\nkey2\t9.9\nkey2\"
cat(str)
cols = list(key='',val=0)
con <- textConnection(str, open = "r")
hsTableReader(con,cols,chunkSize=6,FUN=print,ignoreKey=TRUE)
close(con)

Основная идея здесь - разбить импорт данных на части. Вы даже можете пойти дальше и использовать одну из параллельных сред (например, снег) и запустить импорт данных параллельно, сегментируя файл,

Я не видел этого вопрос изначально и задал аналогичный вопрос несколько дней спустя. Я собираюсь ответить на свой предыдущий вопрос, но решил добавить здесь ответ, чтобы объяснить, как я использовал sqldf () для этого.

Было небольшое обсуждение относительно наилучшего способа импорта 2 ГБ или более текстовых данных во фрейм данных R. Вчера я написал сообщение в блоге об использовании sqldf () для импорта данных в SQLite в качестве промежуточной области, а затем втягивания их из SQLite в R. Это очень хорошо работает для меня. Мне удалось получить 2 ГБ (3 столбца, строки по 40 мм) менее чем за 5 минут. Напротив, читал. Команда csv выполнялась всю ночь и так и не была завершена.

Вот мой тестовый код:

Настройте тестовые данные:

bigdf <- data.frame(dim=sample(letters, replace=T, 4e7), fact1=rnorm(4e7), fact2=rnorm(4e7, 20, 50))
write.csv(bigdf, 'bigdf.csv', quote = F)

Я перезапустил R перед выполнением следующей процедуры импорта:

library(sqldf)
f <- file("bigdf.csv")
system.time(bigdf <- sqldf("select * from f", dbname = tempfile(), file.format = list(header = T, row.names = F)))

Я позволил следующей строке работать всю ночь, но она так и не завершилась:

system.time(big.df <- read.csv('bigdf.csv'))