Выборка больших файлов данных
Я в настоящее время работаю в должности программиста Хранилища данных, и как таковой должны провести многочисленные плоские файлы посредством процесса ETL. Конечно, до загрузки файла я должен знать о его содержании, проблема состоит в том, что большинство файлов> 1 ГБ шириной, и я не могу открыть их использующий моего дорогого старого друга "блокнот". Ребячество. Я обычно использую VIM или Блокнот ++, но он все еще требует времени для открытия файла. Я мог выполнить "частичное" чтение файла с помощью VIM или некоторого другого редактора?
P.S. Я знаю, что мог записать 10 сценариев лайнера в "образец данных" файл, но будет более просто убедить членов команды использовать функцию редактора, чем сценарий, который я записал.
Спасибо за любое понимание Вы могли бы иметь.
6 ответов
Если вы хотите использовать vim, вы можете взглянуть на скрипт LargeFile .
С другой стороны, я всегда обнаруживал, что UltraEdit очень быстро открывает большие файлы.
UltraEdit утверждает, что обрабатывает файлы размером более 4 ГБ ...
Вы сказали, что у вас есть VIM, и это заставляет меня задуматься, есть ли у вас также среда unix?
Если хотите, вы можете направить ввод через Утилита unix наверх и отобразит необработанный результат на экране. Примерно так:
РЕДАКТИРОВАТЬ : (спасибо Honk)
терминал $> head -N 15 file.csv
(где 15 означает, что вы хотите видеть только 15 строк).
Используйте 'less' на solaris ... используйте то же самое через cygwin на windows. На мэйнфреймах эта проблема не возникает, редактор ISPF справляется с ней довольно хорошо.
Конечно, есть масса подобных вопросов, но, эй, Текстовая панель - хороший выбор для этого.