Самый эффективный способ экспорта больших (3,9 млн об.с.) data.frames в текстовый файл? [дубликат]
На этот вопрос уже есть ответ здесь:
У меня есть довольно большой фрейм данных в R, который я хотел бы экспортировать в SPSS.
Этот файл вызвал у меня часы головной боли, пытаясь импортировать его в R, в первую очередь, однако я добился успеха, используя read.fwf()с параметрами comment.char="%"(символ, отсутствующий в файле) и fill= TRUE(это был файл ASCII с фиксированной шириной, в некоторых строках отсутствовали все переменные, что вызывало сообщения об ошибках).
В любом случае, моя база данных в настоящее время состоит из 3,9 миллионов наблюдений и 48 переменных (все символы). Я могу довольно быстро записать его в файл, разделив его на наборы наблюдений 4 x 1 миллион с df2 , за которым следует write.table(df2)и т. д. ., но не может записать весь файл за один проход без блокировки компьютера и необходимости полной перезагрузки для восстановления.
После того, как я много лет слышал анекдотические истории о том, что R не подходит для больших наборов данных, я впервые столкнулся с проблемой такого рода.Интересно, есть ли другие подходы (низкоуровневая "сброска" файла прямо на диск?) или есть какой-то неизвестный мне пакет, способный эффективно обрабатывать экспорт больших файлов такого типа?