Обрезка огромного файла CSV (на 3,5 ГБ) для чтения в R

Таким образом, у меня есть файл данных (разделенная точка с запятой), который имеет много детали и неполных строк (ведущий Доступ и SQL для дросселирования). Это - набор данных уровня графства, в который врываются сегменты, подсегменты и sub-sub-segments (для в общей сложности ~200 факторов) в течение 40 лет. Короче говоря, это огромно, и это не собирается вписываться в память, если я пытаюсь просто считать его.

Таким образом, мой вопрос - это, учитывая, что я хочу все округа, но только год (и просто высший уровень сегмента... ведущего приблизительно к 100 000 строк в конце), каков был бы лучший способ пойти о получении этой свертки в R?

В настоящее время я пытаюсь прервать несоответствующие годы с Python, обходя предел размера файла путем чтения и работы на одну строку за один раз, но я предпочел бы решение R-only (пакеты CRAN хорошо). Существует ли похожий способ считать в файлах часть за один раз в R?

Любые идеи значительно ценились бы.

Обновление:

• Ограничения
• Потребности использовать мою машину, таким образом, экземпляры № EC2
• Максимально R-only. Скорость и ресурсы не являются проблемами в этом случае..., если моя машина не взрывается...
• Как Вы видите ниже, данные содержат смешанные типы, на которые я должен воздействовать позже
• Данные
• Данные составляют 3.5 ГБ приблизительно с 8,5 миллионами строк и 17 столбцов
• Пара тысячи строк (~2k) уродлива только с одним столбцом вместо 17
• Они совершенно неважны и могут быть отброшены
• Мне только нужны ~100 000 строк из этого файла (См. ниже),

Пример данных:

County; State; Year; Quarter; Segment; Sub-Segment; Sub-Sub-Segment; GDP; ...
Ada County;NC;2009;4;FIRE;Financial;Banks;80.1; ...
Ada County;NC;2010;1;FIRE;Financial;Banks;82.5; ...
NC  [Malformed row]
[8.5 Mill rows]

Я хочу прервать некоторые столбцы и выбрать два из 40 доступных лет (2009-2010 с 1980-2020), так, чтобы данные могли вписаться в R:

County; State; Year; Quarter; Segment; GDP; ...
Ada County;NC;2009;4;FIRE;80.1; ...
Ada County;NC;2010;1;FIRE;82.5; ...
[~200,000 rows]

Результаты:

После переделывания всех предложений сделал, я решил, что readLines, предложенный JD и Marek, будет работать лучше всего. Я дал Marek проверку, потому что он дал демонстрационную реализацию.

Я воспроизвел немного адаптированную версию реализации Marek для моего окончательного ответа здесь, с помощью strsplit и кошки для хранения только столбцов, которые я хочу.

Нужно также отметить, что это НАМНОГО менее эффективно, чем Python... как в, Python чавкает через файл на 3.5 ГБ через 5 минут, в то время как R берет приблизительно 60..., но если все, что Вы имеете, является R затем, это - билет.

## Open a connection separately to hold the cursor position
file.in <- file('bad_data.txt', 'rt')
file.out <- file('chopped_data.txt', 'wt')
line <- readLines(file.in, n=1)
line.split <- strsplit(line, ';')
# Stitching together only the columns we want
cat(line.split[[1]][1:5], line.split[[1]][8], sep = ';', file = file.out, fill = TRUE)
## Use a loop to read in the rest of the lines
line <- readLines(file.in, n=1)
while (length(line)) {
  line.split <- strsplit(line, ';')
  if (length(line.split[[1]]) > 1) {
    if (line.split[[1]][3] == '2009') {
        cat(line.split[[1]][1:5], line.split[[1]][8], sep = ';', file = file.out, fill = TRUE)
    }
  }
  line<- readLines(file.in, n=1)
}
close(file.in)
close(file.out)

Сбои подходом:

• sqldf
• Это определенно, что я буду использовать для этого типа проблемы в будущем, если данные будут правильно построены. Однако, если это не, затем дроссели SQLite.
• MapReduce
• Честно говоря, документы запугали меня на этом немного, таким образом, я не нашел время для попытки его. Было похоже, что это потребовало объекту быть в памяти также, которая победила бы точку, если бы это имело место.
• bigmemory
• Этот подход чисто связался с данными, но это может только обработать один тип за один раз. В результате все мои символьные векторы отбросили при помещении в big.table. Если бы я должен разработать большие наборы данных для будущего, хотя, я рассмотрел бы только числа использования только для поддержания этой опции.
• сканирование
• Сканирование, казалось, имело подобные проблемы типа как большую память, но со всей механикой readLines. Короче говоря, это просто не отвечало всем требованиям на этот раз.