Я разбираю файл размером 20 ГБ и вывожу строки, которые соответствуют определенному условию, в другой файл, однако иногда python читает сразу 2 строки и объединяет их.
inputFileHandle = open(inputFileName, 'r')
row = 0
for line in inputFileHandle:
row = row + 1
if line_meets_condition:
outputFileHandle.write(line)
else:
lstIgnoredRows.append(row)
Я проверил окончания строк в исходном файле, и они проверяются как переводы строк (ascii char 10 ). Извлечение проблемных строк и их изолированный анализ работает, как и ожидалось. Я сталкиваюсь с некоторыми ограничениями Python? Позиция в файле первой аномалии находится в районе отметки 4GB.