Является ли Celery столь же эффективным в локальной системе, как многопроцессорность python?

У меня небольшие проблемы с принятием решения, что использовать многопроцессорную обработку Python, сельдерей или pp для моего приложения.

Мое приложение очень загружено ЦП, но в настоящее время использует только один ЦП, поэтому мне нужно распределить его по всем доступным ЦП (что заставило меня взглянуть на библиотеку многопроцессорной обработки Python), но я читал, что эта библиотека не масштабируется для других машин. если необходимо. Прямо сейчас я не уверен, понадобится ли мне более одного сервера для запуска моего кода, но я думаю о локальном запуске сельдерея, а затем для масштабирования потребуется только добавить новые серверы вместо рефакторинга кода (как если бы я использовал многопроцессорность).

Мой вопрос: верна ли эта логика? и есть ли какие-либо недостатки (производительность) при использовании сельдерея локально (если окажется, что один сервер с несколькими ядрами может выполнить мою задачу)? или лучше использовать многопроцессорность и позже превратить ее во что-то еще?

Спасибо!

шт. это для проекта личного обучения, но, может быть, однажды я захочу поработать разработчиком в фирме и узнать, как это делают профессионалы.

20
задан Ken Y-N 20 November 2018 в 05:30
поделиться