Google App Engine - чрезмерно медленное и дорогое резервное копирование и восстановление?

После работы над несколькими приложениями GAE, некоторые из которых используются для производства, я пришел к выводу, что на этой платформе резервное копирование производственных данных достаточно медленное и достаточно дорогое чтобы мы перешли на другой стек облачных технологий.

В одном из наших производственных приложений у нас есть около миллиона сущностей со средним размером 1 КБ на одну сущность. Итак, общий размер данных составляет около 1 ГБ, что не должно иметь большого значения, верно? Вот результат работы средства массовой загрузки после получения сущностей из механизма приложения с параметрами по умолчанию:

[INFO] 948212 объектов (608342497 байт) переданы в 47722.7 секунды

Это почти 13 часов. Поэтому, если бы мы хотели настроить почасовую систему резервного копирования наших производственных данных, это было бы невозможным с текущим набором инструментов GAE.

Стоимость - отдельная история. Я попытался использовать администратора хранилища данных для копирования объектов в другое приложение, которое, как я думал, мы могли бы использовать для резервного копирования. Сначала я установил бюджет на 2 доллара в день, который быстро закончился примерно у 5000 объектов, затем я увеличил бюджет до 10 долларов в день, который снова закончился, даже не приблизившись к репликации миллиона объектов.

Я, очевидно, не собираюсь тратить 100 долларов каждый раз, когда мне нужно создать резервную копию моего 1 ГБ данных, и не хочу ждать часами (или даже днями) только для того, чтобы сделать резервную копию моих данных. Так что либо я чего-то не знаю, либо Google App Engine в настоящее время просто непрактичный способ писать масштабируемые производственные приложения значимого размера, которые можно легко резервировать и восстанавливать.

Есть ли быстрый и экономичный способ резервного копирования данных из приложения GAE?

10
задан Yasser 25 February 2012 в 07:08
поделиться