Действительно ли Google App Engine является достойной платформой для приложения Lifestreaming? [закрытый]
Я полагаю, что кластеризованный индекс должен помочь предикату фильтрации WHERE my_time > timestamp '2019-01-10 00:00:00', но вы должны рассмотреть планы объяснения, чтобы определить, как запрос был обработан. Вы также можете рассмотреть возможность использования подхода оконной функции:
SELECT k.my_id, k.my_info
JOIN (
SELECT my_id, my_info
, ROW_NUMBER() OVER(PARTITION BY my_id ORDER BY my_time DESC) as rn
FROM my_table
WHERE my_time > timestamp '2019-01-10 00:00:00'
) as k
WHERE k.rn = 1
7 ответов
Хотя я не могу напрямую ответить на ваш вопрос, мой опыт создания Microupdater (агрегатор новостей, собирающий несколько сотен каналов на AppEngine) может дать вам некоторое представление.
Получение каналов. Получение большого количества каналов с помощью заданий cron (это было единственным решением до SDK 1.2.5) неэффективно и масштабируемо, что имеет более низкий предел частоты заданий (скажем, 1 мин, поэтому вы можете получать не более 60 каналов в час). В последней версии SDK 1.2.5 есть XMPP API , который я еще не реализовал. Лучшим многообещающим подходом был бы PubSubHubbub , для которого вы предлагаете URL-адрес обратного вызова, а HubBub будет уведомлять вас о новых записях в в режиме реального времени . И есть демонстрационная реализация в AppEngine, с которой вы можете поиграть.
Анализ каналов. Возможно, вы уже знаете, что синтаксический анализ каналов требует большого количества процессоров. Я использую Universal Feed Parser от Mark Pilgrim, при синтаксическом анализе большого канала (скажем, общедоступной темы для читателей Google) AppEngine может не обработать все записи. На моей панели управления много предупреждений об ограничении ЦП. Но это может привести к моей неспособности оптимизировать код.
В общем, AppEngine еще не является идеальной платформой для приложения LifeStream, но это может измениться в будущем.
Это могло бы измениться, когда они предлагают заплаченные планы, но как есть, Механизм Приложения не хорош для ЦП интенсивные приложения. Это разработано для масштабирования для обработки большого количества запросов, не обязательно большого объема вычисления на запрос. Я сталкиваюсь с этой проблемой с довольно незначительными вычислениями, и я боюсь, что мне, вероятно, придется начать смотреть в другом месте, когда мой набор данных растет.
Если Вы - приложение, только полагается на Django, то Механизм Приложения является хорошей ставкой. Однако, если когда-нибудь необходимо добавлять библиотеки C-enhanced, Вы - ручей. Механизм приложения не поддерживает вещи как PIL или ReportLab, которые используют C для ускорения времени обработки. Я только упоминаю это, потому что можно хотеть использовать C для ускорения некоторых стандартных программ в конечном счете.
Если Вы решаете использовать co-loc, проверьте WebFaction.com. У них есть большая поддержка Django/Python, и у них нет проблемы с Вами использующий вышеупомянутый lirbaries.
Смотрите на Хост Части: Они продают базирующиеся виртуализированные экземпляры сервера xen, запускающиеся на уровне $20,00 / месяц...
Мы точно так же, как Вы. Больной от перепроданных, неблагополучных, древних хостинговых компаний. Мы взяли дело в свои руки. Мы создали хостинговую компанию для людей, которые знают их материал. Дайте нам поле, дайте нам пропускную способность, дайте нам производительность, и мы взялись за работу. Быстрые машины, диски RAID-10, Уровень 1 пропускная способность и корневой доступ. Управляемый со специализированным бэкендом Xen VPS, чтобы гарантировать, что Ваши ресурсы защищены и гарантированы.
Это является большим для запуска проекта на и масштабирования горизонтально его, не подвергаясь затратам на управляемого поставщика или Колорадо.
Нет. Если необходимо раскрыть много вещей, Механизм Приложения не собирается работать так хорошо. Можно использовать его в качестве фронтэнда путем помещения данных в их хранилище после выполнения офлайновой предварительной обработки, но Вы не можете сделать многого в ~1 втором разе, когда Вы имеете на запрос, не делая некоторых действительно сумасшедших вещей.
Ваше приложение, вероятно, было бы более обеспечено на Вашем собственном хостинге.
Получение по запросу подачи или выполнение вычислений не будут проблемой. Но необходимо будет скоро заплатить за учетную запись. Механизм приложения включает Django, кроме необходимо будет работать с некоторыми адаптерами для образцовой части. Это, конечно, сохранит Вас от головных болей обслуживания.
(Это, очевидно, довольно старое приложение, реагирующее только потому, что оно по-прежнему очень популярно в связанных запросах Google ...)
Я только начал использовать AppEngine и не использовал его для тонны внешних запросов. Но я знаю, что приведенная выше информация, вероятно, сейчас намного менее актуальна и может даже не действовать. Они немного ослабили ограничения с 8 сентября - проверьте блог Арала Балкана , чтобы узнать его первоначальную жалобу на вышеизложенное, а также на более поздние события.