Вставка данных, если они не существуют с использованием ошибки pymongo generate, индексы TypeError: list должны быть целыми числами или срезами, а не str [duplicate]

Начиная с MongoDB 2.4 вы можете использовать $ setOnInsert ( http://docs.mongodb.org/manual/reference/operator/setOnInsert/ )

Установить 'insertion_date 'используя $ setOnInsert и' last_update_date ', используя $ set в вашей команде upsert.

Чтобы превратить ваш псевдокод в рабочий пример:

now = datetime.utcnow()
for document in update:
    collection.update_one(
        {"_id": document["_id"]},
        {
            "$setOnInsert": {"insertion_date": now},
            "$set": {"last_update_date": now},
        },
        upsert=True,
    )

Резюме

• У вас есть существующая коллекция записей.
• У вас есть набор записей, содержащих обновления существующих записей.
• Some Обновления ничего не обновляют, они дублируют то, что у вас уже есть.
• Все обновления содержат те же самые поля, которые уже есть, возможно, разные значения.
• Вы хотите (/ g5)

Заметьте, я предполагаю, что PyMongo изменится в соответствии с вашим выбранным языком.

Инструкции:

1. Создайте коллекцию с индексом с уникальным значением = true, чтобы вы не получали повторяющиеся записи.
2. Итерируйте по своим входным записям, создавая их из 15 000 записей или так. Для каждой записи в партии создайте dict, состоящий из данных, которые вы хотите вставить, предполагая, что каждый из них будет новой записью. Добавьте к ним «созданные» и «обновленные» временные метки. Выполните это как команду пакетной вставки с флагом 'ContinueOnError' = true, поэтому вставка всего остального происходит, даже если есть дубликат (там, где это будет похоже). ЭТО ПРОИСХОДИТ ОЧЕНЬ БЫСТРО. Массовые вставки рок, я получил 15k / секунду производительности. Дальнейшие примечания о ContinueOnError см. В http://docs.mongodb.org/manual/core/write-operations/ Запись вставки происходит ОЧЕНЬ быстро, так что вы будете с этими вставками в кратчайшие сроки. Теперь пришло время обновить соответствующие записи. Сделайте это с помощью пакетного поиска, намного быстрее, чем по одному.
3. Повторите все ваши записи ввода, создав партии 15K или около того. Извлеките ключи (лучше всего, если есть один ключ, но не может быть помог, если нет). Получите эту группу записей из Mongo с помощью запроса db.collectionNameBlah.find ({field: {$ in: [1, 2,3 ...}). Для каждой из этих записей определите, есть ли обновление, и если да, выполните обновление, включая обновление «обновленной» метки времени. К сожалению, следует отметить, что MongoDB 2.4 и ниже НЕ включают операцию массового обновления. Они работают над этим.

Точки оптимизации клавиш:

• Вставки значительно ускорят ваши операции навалом.
• Извлечение записей в массовом порядке также ускорит процесс.
• Индивидуальные обновления - единственный возможный маршрут, но 10Gen работает над ним. Предположительно, это будет в 2.6, хотя я не уверен, что он будет закончен к тому времени, есть много чего заняться (я слежу за их системой Jira).

В общем, использование update лучше в MongoDB, так как оно просто создаст документ, если он еще не существует, хотя я не уверен, как работать с вашим адаптером python.

Second , если вам нужно только знать, существует ли этот документ, count (), который возвращает только номер, будет лучшим вариантом, чем find_one, который предположительно перенесет весь документ из вашего MongoDB, вызывая ненужный трафик.

Рисование из ответа Ван Нгуена выше, используйте обновление вместо сохранения. Это дает вам доступ к опции upsert.

ПРИМЕЧАНИЕ. Этот метод переопределяет весь документ при обнаружении ( из документов )

var conditions = { name: 'borne' }   , update = { $inc: { visits: 1 }} , options = { multi: true };

Model.update(conditions, update, options, callback);

function callback (err, numAffected) {   // numAffected is the number of updated documents })

1.a. Используйте $ set

Если вы хотите обновить выбор документа, но не все это, вы можете использовать метод $ set с обновлением. (опять же, Из документов ) ... Итак, если вы хотите установить ...

var query = { name: 'borne' };  Model.update(query, ***{ name: 'jason borne' }***, options, callback)

Отправить его как ...

Model.update(query, ***{ $set: { name: 'jason borne' }}***, options, callback)

Это помогает предотвратить случайную перезапись всех ваших документов с помощью { name: 'jason borne' }.

Вы всегда можете создать уникальный индекс, который заставит MongoDB отклонить конфликтующее сохранение. Рассмотрим следующее, выполненное с использованием оболочки mongodb:

> db.getCollection("test").insert ({a:1, b:2, c:3})
> db.getCollection("test").find()
{ "_id" : ObjectId("50c8e35adde18a44f284e7ac"), "a" : 1, "b" : 2, "c" : 3 }
> db.getCollection("test").ensureIndex ({"a" : 1}, {unique: true})
> db.getCollection("test").insert({a:2, b:12, c:13})      # This works
> db.getCollection("test").insert({a:1, b:12, c:13})      # This fails
E11000 duplicate key error index: foo.test.$a_1  dup key: { : 1.0 }

Я не думаю, что mongodb поддерживает этот тип выборочного восстания. У меня та же проблема, что и у LeMiz, и с помощью update (критерии, newObj, upsert, multi) не работает правильно, имея дело с «созданной» и «обновленной» меткой времени. Учитывая следующий оператор upsert:

update( { "name": "abc" }, 
        { $set: { "created": "2010-07-14 11:11:11", 
                  "updated": "2010-07-14 11:11:11" }},
        true, true ) 

Сценарий №1 - документ с именем «abc» не существует: новый документ создается с именем «name» = «abc», «created» = 2010-07-14 11:11:11, и 'updated' = 2010-07-14 11:11:11.

Сценарий №2 - документ с именем «abc» уже существует с следующее: 'name' = 'abc', 'created' = 2010-07-12 09:09:09, и 'updated' = 2010-07-13 10:10:10. После обновления документ теперь будет таким же, как результат в сценарии №1. Невозможно указать в upsert, какие поля должны быть установлены, если вставлять, и какие поля останутся в покое, если обновление.

Моим решением было создать уникальный индекс в полях critera , выполнить вставку и сразу после этого выполнить обновление только в «обновленном» поле.

Вы можете использовать Upsert с оператором $ setOnInsert.

db.Table.update({noExist: true}, {"$setOnInsert": {xxxYourDocumentxxx}}, {upsert: true})