2
ответа
Многопроцессорная обработка Python PicklingError: Can't pickle
Мне жаль, что я не могу воспроизвести ошибку на более простом примере, а мой код слишком сложен для публикации. Если я запускаю программу в оболочке IPython вместо обычного Python, все работает хорошо. ...
вопрос задан: 9 October 2019 16:19
2
ответа
Пул потоков медленный и такой же скорости, как и последовательный
Я пытаюсь ускорить вычисления для обширного обнаружения объектов в реальном времени и выполнения вычислений на нем. Я использую OpenCV с пулом потоков и производителем, потребителем для захвата видео. Но ...
вопрос задан: 20 March 2019 11:03
2
ответа
Почему лучше использовать синхронное программирование для операций в памяти?
У меня сложная вложенная структура данных. Я перебираю его и выполняю некоторые вычисления для каждой возможной уникальной пары элементов. Это все математические функции в памяти. Я не читаю из файлов ...
вопрос задан: 3 March 2019 08:25
2
ответа
Действительно ли возможно выполнить функцию в подпроцессе, не распараллеливая или пишущий отдельный файл/сценарий.
импортируйте определение подпроцесса my_function (x): возвратите x + 100 выводов = подпроцесс. Popen (my_function, 1) #I хотел бы передать функциональный объект, и его печать аргументов произвела вывод #desired: 101 я...
вопрос задан: 3 March 2018 19:01
2
ответа
получение pid дочернего процесса
Я использую многопроцессорный модуль Python для порождения нового процесса следующим образом: импортируйте импорт многопроцессорной обработки OS d = многопроцессорная обработка. Процесс (target=os.system, args = ('iostat 2> a.txt')) d.start () я...
вопрос задан: 10 January 2017 02:26
1
ответ
Многопроцессорная обработка Python - как сделать ее более эффективной
Рассмотрим следующие две короткие программы. normal_test.py: время импорта, если __name__ == '__main__': t_end = time.time () + 1 loop_iterations = 0, тогда как time.time () < конец: ...
вопрос задан: 17 March 2019 20:54
1
ответ
Многопроцессорный пул Python: maxtasksperchild
Я возился с многопроцессорной библиотекой Python, и, хотя она предоставляет невероятно простой в использовании API, ее документация не всегда ясна. В частности, аргумент «...
вопрос задан: 3 March 2019 23:23
1
ответ
Завершение многопроцессорного процесса при выполнении условия
Идея, которую я пытаюсь запустить, заключается в следующем: RUN 3 Процессы, выполняющие вычисления ОДНАЖДЫ один из 3 процессов немедленно завершает задачу, УБИВАЕТ других и продолжает основную задачу, я не могу позволить ей запускаться в любую секунду ...
вопрос задан: 27 February 2019 16:07
1
ответ
Использование другой функции в функции не работает с multiprocess.Pool
Я попытался использовать другую функцию внутри функции и использовать Pool, чтобы отобразить ее на многоядерный. И это не удалось. Как использовать многоуровневую функцию в пуле? python 3.6.4 из многопроцессного импорта Pool def fun (x): ...
вопрос задан: 18 January 2019 09:08
1
ответ
Пример многопроцессорности Python никогда не заканчивается, когда набор данных слишком велик
В приведенной ниже примерной примере основная программа создает список случайных строк длины data_size. Без многопроцессорной обработки данные отправляются непосредственно в Test.iterate (), где класс просто добавляет ...
вопрос задан: 13 July 2018 20:29
1
ответ
распараллеливать цикл for for Python 3
Я пытаюсь сделать некоторый анализ спутниковых данных MODIS. Мой код в основном читает много файлов (806) размером 1200 на 1200 (806 * 1200 * 1200). Он делает это с помощью цикла for и выполняет ...
вопрос задан: 13 July 2018 12:59
1
ответ
Как обмениваться данными через Pipe в Python? [Дубликат]
Я изучаю многопроцессорность в Python и пытаюсь сделать 2 процесса и обмениваться данными между ними через Pipe. В приведенном ниже коде я ожидал, что отправитель отправит случайное целое в приемник каждый ...
вопрос задан: 7 May 2013 03:21
0
ответов
Как восстановить возвращаемое значение функции, переданной в multiprocessing.Process?
В приведенном ниже примере кода я хочу восстановить возвращаемое значение обработчика функции. Как я могу это сделать? Где хранится это значение? Пример кода :import multiprocessing def worker (...
вопрос задан: 18 June 2019 16:49
0
ответов
Совместное использование очереди результатов несколькими процессами
В документации по модулю multiprocessing показано, как передать очередь процессу, запущенному с помощью multiprocessing.Process. Но как я могу разделить очередь с запущенными асинхронными рабочими процессами...
вопрос задан: 8 April 2019 16:26
0
ответов
Передача пользовательского объекта между подпроцессами
У меня есть три файла следующим образом: "" "main.py" "" время импорта ray ray от ученика import ученик от работника import Worker ray.init () ученик = Learner.remote () worker = Worker.remote (ученик) ...
вопрос задан: 7 March 2019 03:01
0
ответов
Совместное использование памяти в приложении Python uwsgi
У меня есть приложение веб-API Python колбу, размещенный за UWSGI с процессами = 4. Когда я создаю словарь с Multiprocessing.Manager.dict (), этот словарь не распределяется между ...
вопрос задан: 1 March 2019 17:04
0
ответов
Python: клиент-сервер. Я хочу ограничить количество клиентов, взаимодействующих с сервером, определенным числом в определенный момент времени, но не повезло
Я хочу ограничить количество клиентов, взаимодействующих с моим сервером в любой момент времени, до 4 (максимум 4 клиента). Я написал следующий код на стороне сервера: импорт выберите импорт сокет импорт сис ...
вопрос задан: 26 February 2019 17:52
0
ответов
Многопроцессорная производительность для функций внутри конвейера кода
Поэтому я распараллеливаю конвейер кода, где я в основном занимаюсь тематическим моделированием большого количества документов. Обучающая часть для вычисления tfidf и других вещей является отдельной независимой ...
вопрос задан: 18 January 2019 14:56
0
ответов
multiprocessing.Pool.map медленнее, чем обычная карта для очень длинной последовательности？
map (f, очень длинная последовательность) быстрее, чем multiprocessing.Pool.map (f, очень длинная последовательность)? X - это диктат кортежей. выглядит как [(0, {0: 50}), (1, {0: 44, 67: 58, 76: 8, 93: 91}), (3, {24: 35, 45: 93})]. ..
вопрос задан: 18 January 2019 07:31
0
ответов
Как улучшить производительность многопроцессорной системы?
Мне нужно улучшить производительность моего приложения на Python. Я только что использовал библиотеку "multiprocess" (форк многопроцессорной, потому что мне нужен укроп) с этим кодом: p = multiprocess.Pool (...
вопрос задан: 17 January 2019 15:47
0
ответов
Python `multiprocessing.Manager ()` не выключается должным образом
Возможно, я где-то допускаю тривиальную ошибку, но даже минимальный пример использования multiprocessing.Manager в блоке with (или без него) иногда вызывает сообщение об ошибке: import ...
вопрос задан: 16 January 2019 14:28
0
ответов
Многопроцессорность Python: проблемы состояния процесса при использовании часового
(Python 3.7) Я использую значение sentinel из объекта multiprocessing.Process в вызове select (), чтобы избежать вызова join (), потому что у меня есть другие файловые дескрипторы для ожидания. Согласно документам, ...
вопрос задан: 16 January 2019 09:55
0
ответов
Django + Ошибка многопроцессорной передачи аргументов
У меня есть функция, которая раскручивает отдельный процесс и передает ему несколько аргументов. Когда я вызываю эту функцию тестирования локально, все в порядке. Когда я вызываю эту функцию из представления Django, ...
вопрос задан: 30 December 2018 15:58
0
ответов
Python - получить доступный процесс в пуле процессов
С помощью нижеприведенного кода я могу создать пул процессов, содержащий 10 процессов из многопроцессорного .dummy import Pool pool = Pool (процессы = 10) После того, как я использовал некоторые из процессов, есть ли способ ...
вопрос задан: 14 July 2018 00:20
0
ответов
пул python apply_async и map_async не блокирует полную очередь
Я новичок в python.
Я использую многопроцессорный модуль для чтения строк текста на стандартном вводе, каким-то образом преобразовываю их и записываю в базу данных. Вот фрагмент моего кода: batch = ...
вопрос задан: 16 March 2018 08:15
0
ответов
multiprocessing.Pool: В чем разница между map_async и imap?
Я пытаюсь научиться использовать пакет многопроцессорной обработки Python, но я не понимаю разницу между map_async и imap. Я заметил, что и map_async, и imap выполняются асинхронно. ...
вопрос задан: 20 November 2015 19:00
0
ответов
Работа с пафосным многопроцессорным инструментом в Python и
У меня есть код для выполнения некоторых операций с использованием пафосного расширения многопроцессорной библиотеки. Мой вопрос заключается в том, как использовать более сложную рабочую функцию - в данном случае с именем New_PP. Как ...
вопрос задан: 26 February 2015 11:43
0
ответов
Наследование Python, супер порядок вызовов и AttributeError
Я запутался о том, как наследуются атрибуты класса. Я получаю AttributeError для дочернего атрибута, который, по моему мнению, был хорошо определен. Я заметил, что подмена порядка супер звонка ...
вопрос задан: 26 February 2015 11:25
0
ответов
Как процесс Python завершается корректно после получения SIGTERM во время ожидания на семафор?
У меня есть процесс Python, который порождает 5 других процессов Python, используя многопроцессорный модуль. Давайте назовем родительский процесс P0, а остальные P1-P5. Требование заключается в том, что если мы отправим SIGTERM на P0, ...
вопрос задан: 17 October 2014 00:19