Глюки, в то время как загрузка объема CouchDB

До сих пор я сделал некоторые преобразования от баз данных SQL прежней версии до CouchDB. У меня всегда был несколько другой подход.

1. Я использовал первичный ключ SQL-DB как идентификатор документа. Это позволило мне импортировать много раз без страха перед дублирующимися документами.
2. Я сделал импорт строки строкой вместо группового импорта. Это делает отладку легче. Я видел между 5-10, вставляет в секунду по Интернет-соединению. В то время как это не молния быстро, это было достаточно быстро для меня. Моей самой большой Базой данных являются 600 000 Документов всего чрезмерное увеличение размера строки строкой на 20 ГБ база данных во время импорта так выполненное уплотнение иногда. С другой стороны, если Ваши строки не огромны, 15 000 строк звучат не очень.

Мой код импорта обычно похож на это:

def main():
 options = parse_commandline()
 server = couchdb.client.Server(options.couch) 
 db = server[options.db] 
 for kdnnr in get_kundennumemrs():
    data = vars(get_kunde(kdnnr)) 
    doc = {'name1': data.get('name1', ''),
           'strasse': data.get('strasse', ''),
           'plz': data.get('plz', ''), 'ort': data.get('ort', ''),
           'tel': data.get('tel', ''), 'kundennr': data.get('kundennr', '')}

    # update existing doc or insert a new one
    newdoc = db.get(kdnnr, {})
    newdoc.update(doc)
    if newdoc != db.get(kdnnr, {}):
        db[kdnnr] = newdoc