Как переместить файл CSV в Sqlite3 (или MySQL)? - Python

Я использую Python для сохранения строки данных строкой..., но это чрезвычайно медленно!

CSV содержит 70 миллионов строк, и с моим сценарием я могу просто сохранить 1 тысячу в секунду.


Это - то, на что похож мой сценарий

reader = csv.reader(open('test_results.csv', 'r'))
for row in reader:
    TestResult(type=row[0], name=row[1], result=row[2]).save()

Я считаю, что для тестирования мне, возможно, придется рассмотреть MySQL или PostgreSQL.

Какая-либо идея или подсказки? Это - первый раз, когда я имею дело с такими крупными объемами данных.:)

7
задан RadiantHex 18 October 2010 в 11:42
поделиться