Текущий процесс:
tar.gz
. около 2000 из них, но это уже другая история)tar.gz
, открывая 100 000 крошечных файлов (около 600 байт каждый).Временное пространство на компьютерах, которые я использую, едва может обрабатывать один из этих процессов одновременно, не говоря уже о 16 (гиперпотоковом двухъядерном четырехъядерном процессоре), которые они отправляют по умолчанию.
Я ищу способ сделать этот процесс без сохранения на диск. Я считаю, что снижение производительности при индивидуальном извлечении файлов с использованием tar -xf $file -O
было бы непомерно высоким, но, возможно, это то, с чем я застрял.
Есть ли способ сделать это?
РЕДАКТИРОВАТЬ: Поскольку два человека уже допустили эту ошибку, я поясню:
EDIT2: Фактический код:
for f in posns/*; do
~/data_analysis/intermediate_scattering_function < "$f"
done | ~/data_analysis/complex_autocorrelation.awk limit=1000 > inter_autocorr.txt