Как большой действительно ли appengine может определить задачу для полезной нагрузки быть?

Я использую новый экспериментальный taskqueue для Java appengine, и я пытаюсь создать задачи что совокупная статистика в моем хранилище данных. Я пытаюсь считать количество УНИКАЛЬНЫХ значений во всем entitities (определенного типа) в моем хранилище данных. Более конкретно скажите, что объект типа X имеет поле A. Я хочу считать КОЛИЧЕСТВО уникальных значений в моем хранилище данных.

Мой текущий подход должен создать задачу, которая запрашивает для первых 10 объектов типа X, создавая хеш-таблицу для хранения уникальных значений в, затем передавая эту хеш-таблицу следующей задаче как полезная нагрузка. Эта следующая задача будет считать следующие 10 объектов и т. д. и т. п., пока я не прошел все объекты. Во время выполнения последней задачи я буду считать количество ключей в моей хеш-таблице (это было передано от задачи до задачи все время) найти общее количество уникальных значений A.

Это работает на небольшое количество объектов в моем хранилище данных. Но я волнуюсь, что эта хеш-таблица станет слишком большой, после того как у меня есть много уникальных значений. Каков максимальный допустимый размер для полезной нагрузки appengine задачи?????

Можно ли предложить какие-либо альтернативные подходы?

Спасибо.

8
задан aloo 22 December 2009 в 03:02
поделиться