Настройка экземпляров EC2 в качестве Celery Workers с локальным компьютером в качестве хоста

Подобно моему вопросу здесь Я пытаюсь настроить несколько экземпляров amazon EC2 для выполнения некоторой многопроцессорной обработки. Я думал об использовании сельдерея для управления рабочими. Кто-нибудь заставил сельдерей работать на экземплярах EC2 с локальным компьютером в качестве хоста?

Есть ли у кого-нибудь какие-нибудь полезные предложения, руководства, советы и т. Д., Которые могут помочь? Я использовал сельдерей для выполнения некоторых простых асинхронных процессов в django, но ничего такого масштаба (рабочий и хост были на одной машине).

Также большая часть обработки основана на файлах (т.е. чтение и запись файлов) ... как вы думаете, было бы лучше обработать и передать содержимое файла с помощью сельдерея (большинство файлов составляют 1-2 КБ текста) или отразить файловую систему в экземплярах EC2, а затем просто попросить рабочих вернуть результаты ( которые обычно составляют 0,5 кб текста).

7
задан Community 23 May 2017 в 10:33
поделиться