Недостающее “Сравнение Параллельной обработки API”. Как я выбираю библиотеку Multi-threading?

Оставляя в стороне тот факт, что это может быть сделано , межпроцессная связь никогда не осуществляется путем совместного использования ресурсов, не говоря уже о памяти мест . Это правильный рецепт катастрофы.

Правильный IPC осуществляется с помощью соответствующих средств связи, таких как разъемы. Совместное использование памяти никогда не является способом.

Вам нужно регулярно сбрасывать список запросов, которые Джанго хранит в целях отладки. Обычно он очищается после каждого запроса, но так как ваше приложение не основано на запросе, вы должны сделать это вручную:

from django import db

db.reset_queries()

См. также:

• «Отладка утечки памяти Джанго с помощью TrackRefs и Guppy» Микко Охтамаа:

  Джанго следит за всеми запросами цели отладки (connection.queries). Этот список сбрасывается в конце HTTP-запроса. Но в автономном режиме нет запросы. Так что нужно вручную сброс в список запросов после каждого рабочий цикл

• «Почему Джанго утекает память?» в Django FAQ - он рассказывает оба об установке DEBUG в значение False , что всегда важно, и об очистке списка запросов с помощью db.reset _ queries () , важна в таких приложениях, как ваша.

[1] Правильный выбор параллельной библиотеки зависит от типа целевой параллельной машины : (1) машины общей памяти (т.е. многоядерной) и (2) машины распределенной памяти (т.е. Cell, Grid computing, CUDA). Также необходимо определить, какую модель параллельного программирования требуется использовать : (1) многопоточные приложения общего назначения, (2) параллелизм на уровне петель, (3) расширенный параллелизм, например конвейер, (4) параллелизм на уровне данных.

Во-первых, модель общей памяти представляет собой просто многопоточное программирование в качестве адресного пространства для всех вычислительных ядер (например, многопроцессорных микросхем и симметричных многопроцессорных процессоров). Нет необходимости явно обмениваться данными между потоками и процессами. OpenMP, Cilk, TBB все для этого домена.

Модель распределенной памяти использовалась в качестве основной модели параллельного программирования для суперкомпьютеров, где каждая отдельная машина (т.е. адресное пространство не является общим) подключена через плотную сеть. MPI - самая известная для него модель программирования. Однако эта модель все еще существует, особенно для CUDA и Cell-программирования, где адресное пространство памяти не является общим. Например, CUDA разделяет память ЦП и память графического процессора. Необходимо явно передать данные между памятью ЦП и памятью графического процессора.

Далее необходимо рассмотреть модель параллельного программирования . Потоки POSIX предназначены для многопоточного программирования общего назначения (например, высокоопоточных веб-серверов). Однако OpenMP очень специализирован для параллелизма на уровне цикла, чем общий API потока POSIX/Win32. Это упрощает резьбовую вилку и соединение. Intel TBB поддерживает параллелизм на уровне задач, включая петли и конвейеры. Существует еще один параллелизм, который можно использовать: data -параллелизм уровня. Для этой проблемы GPGU лучше, чем CPU, поскольку GPGPU специализируется на параллельных рабочих нагрузках данных. Существует также модель программирования, называемая потоковой обработкой.

[2] Я уже ответил выше.

[3] Просто. Существует множество различных моделей параллельного/параллельного программирования и различных параллельных машин. Итак, это не одна проблема; В параллельном/параллельном программировании существует так много вспомогательных проблем, которые не могут быть решены суперединой моделью программирования.

[4] Это зависит. Серьезно.