(Python) Подсчет строк в огромном (> 10 ГБ) файле как можно быстрее [дубликат]

На этот вопрос уже есть ответы здесь:

Как дешево получить количество строк в большом файле в Python?(38 ответов)

Закрыто 2 года назад.

Прямо сейчас у меня есть очень простой скрипт, который подсчитывает строки в текстовом файле, используя enumerate():

i = 0
f = open("C:/Users/guest/Desktop/file.log", "r")
for i, line in enumerate(f):
      pass
print i + 1
f.close()

Это занимает около 3,5 минут, чтобы просмотреть файл журнала размером 15 ГБ с ~30 строками. миллионов строк. Было бы здорово, если бы я мог получить это менее чем за две минуты, потому что это ежедневные журналы, и мы хотим проводить ежемесячный анализ, поэтому код должен будет обрабатывать 30 журналов размером ~ 15 ГБ - возможно, более полутора часов. , и мы хотели бы минимизировать нагрузку на время и память на сервере.

Я бы также согласился на хороший метод аппроксимации/оценки, но он должен быть точен примерно на 4 сиг фига...

Спасибо!

задан glglgl 9 March 2012 в 09:18

0 ответов

Другие вопросы по тегам:

enumerate python line-count

(Python) Подсчет строк в огромном (> 10 ГБ) файле как можно быстрее [дубликат]

0 ответов

Похожие вопросы: