Советы и уловки

меньше

Почему вы используете редакторы , чтобы просто просматривать (большой) файл?

В * nix или Cygwin просто используйте меньше . (Есть известная поговорка - «меньше значит больше, больше или меньше» - потому что «меньше» заменило более раннюю команду Unix «больше» с добавлением того, что вы можете прокручивать назад). Поиск и навигация по меньше очень похожи на Vim, но здесь нет файла подкачки и используется мало оперативной памяти.

Есть Win32-порт GNU меньше. См. Раздел «меньше» в ответе выше.

Perl

Perl хорош для быстрых сценариев, а его .. Оператор (range flip-flop) представляет собой удобный механизм выбора, позволяющий ограничить грязь, через которую вам придется пробираться.

Например:

$ perl -n -e 'print if ( 1000000 .. 2000000)' humongo.txt | less

Это извлечет все, начиная с 1 миллиона строк и заканчивая 2 миллионами строк, и позволит вам вручную просеивать вывод с меньшим.

Другой пример:

$ perl -n -e 'print if ( /regex one/ .. /regex two/)' humongo.txt | less

Это начинает печать, когда "регулярное выражение" что-то находит, и останавливается, когда «регулярное выражение два» находит конец интересного блока. Он может найти несколько блоков. Просеиваем вывод ...

logparser

Это еще один полезный инструмент, который вы можете использовать. Процитируем статью в Википедии :

logparser - это гибкая утилита командной строки, которая изначально была написана Габриэле Джузеппини, сотрудником Microsoft, для автоматизации тестов для ведения журнала IIS. Он был предназначен для использования с операционной системой Windows и был включен в IIS 6.0 Resource Kit Tools. По умолчанию logparser работает как «конвейер обработки данных», используя выражение SQL в командной строке и выводя строки, содержащие совпадения для выражения SQL.

Microsoft описывает Logparser как мощный, универсальный инструмент, который обеспечивает универсальный доступ к запросам к текстовым данным, таким как файлы журналов, файлы XML и CSV-файлы, а также ключевые источники данных в операционной системе Windows, такие как журнал событий, реестр, файловая система и Active Directory. Результаты входного запроса могут быть отформатированы в текстовом формате или сохранены в более специализированных целях, таких как SQL, SYSLOG или диаграмма.

Пример использования:

C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line > 1000 and line < 2000"
C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line like '%pattern%'"

Относительность размеров

100 МБ не так уж и много. 3 ГБ становятся довольно большими. Раньше я работал в типографии и почтовом отделении, на которое приходилось около 2% почты первого класса в США. На одну из систем, в которой я был техническим руководителем, приходилось около 15 +% почтовых отправлений. Здесь и там у нас было несколько больших файлов для отладки.

И многое другое ...

Не стесняйтесь добавлять сюда больше инструментов и информации. Этот ответ - вики сообщества неспроста! Нам всем нужен совет по работе с большими объемами данных ...