Разбор большого (20 ГБ )текстового файла с помощью python -чтение в 2 строки как 1

Я разбираю файл размером 20 ГБ и вывожу строки, которые соответствуют определенному условию, в другой файл, однако иногда python читает сразу 2 строки и объединяет их.

inputFileHandle = open(inputFileName, 'r')

row = 0

for line in inputFileHandle:
    row =  row + 1
    if line_meets_condition:
        outputFileHandle.write(line)
    else:
        lstIgnoredRows.append(row)

Я проверил окончания строк в исходном файле, и они проверяются как переводы строк (ascii char 10 ). Извлечение проблемных строк и их изолированный анализ работает, как и ожидалось. Я сталкиваюсь с некоторыми ограничениями Python? Позиция в файле первой аномалии находится в районе отметки 4GB.

15
задан James 19 April 2012 в 02:30
поделиться