найдите результаты переданными по каналу к zcat и затем направляться
Я пытаюсь искать определенную строку в большом количестве gziped файлов CSV, строка расположена в первой строке, и моя мысль должна была добраться, первая строка каждого файла объединением находят, zcat и голова. Но я не могу заставить их сотрудничать.
$find . -name "*.gz" -print | xargs zcat -f | head -1
20051114083300,1070074.00,0.00000000
xargs: zcat: terminated by signal 13
example file:
$zcat 113.gz | head
20050629171845,1069335.50,-1.00000000
20050629171930,1069315.00,-1.00000000
20050629172015,1069382.50,-1.00000000
.. and 2 milion rows like these ...
Хотя я решил проблему путем записи сценария удара, итерации по файлам и записи во временный файл, будет замечательно знать то, что я сделал неправильно, как сделать это, и если могли бы быть другие способы пойти об этом.
4 ответа
Вы должны найти что это сработает:
find . -name "*.gz" | while read -r file; do zcat -f "$file" | head -n 1; done
Все заработало, как вы просили.
head выполнил свою работу, напечатал одну строку и завершил работу. zcat , затем работающий под эгидой xargs , попытался записать в закрытый канал и получил фатальный сигнал SIGPIPE за свои усилия. После того, как его ребенок умер, xargs сообщил, почему.
Чтобы добиться желаемого поведения, вам нужно найти конструкцию -exec ... или специальный zhead для передачи в xargs.
добавил нежелательный код, который я нашел за холодильником :
#!/usr/bin/python
"""zhead - poor man's zcat file... | head -n
no argument error checking, prefers to continue in the face of
IO errors, with diagnostic to stderr
sample usage: find ... | xargs zhead.py -1"""
import gzip
import sys
if sys.argv[1].startswith('-'):
nlines = int(sys.argv[1][1:])
start = 2
else:
nlines = 10
start = 1
for zfile in sys.argv[start:]:
try:
zin = gzip.open(zfile)
for i in range(nlines):
line = zin.readline()
if not line:
break
print line,
except Exception as err:
print >> sys.stderr, zfile, err
finally:
try:
zin.close()
except:
pass
Он обработал 10k файлов в / usr / share / man примерно за минуту.
zcat -r * 2>/dev/null | awk -vRS= -vFS="\n" '{print $1}'
If you have GNU Parallel http://www.gnu.org/software/parallel/ installed:
find . -name '*.gz' | parallel 'zcat {} | head -n1'
Watch the intro video to GNU Parallel at http://www.youtube.com/watch?v=OpaiGYxkSuQ