Быстрый способ объединения огромных файлов (>=7 GB) в один

У меня есть три огромных файла, в которых всего 2 столбца, и мне нужны оба. Я хочу объединить их в один файл, который затем можно записать в базу данных SQLite.

Я использовал Python и справился с задачей, но это заняло >30 минут, а также повесило мою систему на 10 из них. Мне интересно, есть ли более быстрый способ с помощью awk или любого другого unix-инструмента. Более быстрый способ в Python тоже был бы замечательным. Код написан ниже:

'''We have tweets of three months in 3 different files.
Combine them to a single file '''
import sys, os
data1 = open(sys.argv[1], 'r')
data2 = open(sys.argv[2], 'r')
data3 = open(sys.argv[3], 'r')
data4 = open(sys.argv[4], 'w')
for line in data1:
    data4.write(line)
data1.close()
for line in data2:
    data4.write(line)
data2.close()
for line in data3:
    data4.write(line)
data3.close()
data4.close()
5
задан Martin Geisler 9 January 2012 в 15:47
поделиться