Вы не можете выполнить это в одной транзакции, и даже ваш пример javascript выполняет findAndModify перед выполнением вставки.
Если вы хотите вставить документы в коллекцию с увеличением количества документов из этого коллекции вы можете использовать метод count и добавить 1.
final DBCollection col = db.getCollection("myCollection");
col.insert(new BasicDBObject("number", col.count() + 1));
Или используя отдельную коллекцию «счетчиков» с помощью findAndModify () вместо count ()