0
ответов
Совместное использование очереди результатов несколькими процессами
В документации по модулю multiprocessing показано, как передать очередь процессу, запущенному с помощью multiprocessing.Process. Но как я могу разделить очередь с запущенными асинхронными рабочими процессами...
вопрос задан: 8 April 2019 16:26
0
ответов
python - регистрация ошибок при многопроцессорности
Я пытаюсь реализовать ведение журнала с многопроцессорной обработки для нашего приложения (колба). Мы используем python2.7, я использую концепцию очередей, чтобы сохранить запросы журнала от всех вилок и записей журнала ...
вопрос задан: 29 March 2019 10:53
0
ответов
Гарантируются ли результаты по порядку при использовании multiprocessing.Pool.map ()?
При использовании multiprocessing.Pool.map () результаты гарантированно приходят в порядок, даже если func () занимает переменное количество времени для завершения? (то есть 2-й рабочий мог закончить раньше 1-го рабочего, ...
вопрос задан: 25 March 2019 15:08
0
ответов
Модель прогнозирования в генераторе данных Keras
Я работаю над моделью Keras с изображениями, разделенными на участки. У меня довольно специфический конвейер: для i в диапазоне (n_iteration): print ("Epoch:", i, "/", n_iteration) start = time ....
вопрос задан: 19 March 2019 09:42
0
ответов
Как определить и сообщить о проблемах с многопроцессорностью Python
Я использую скрипт Python 2.7, который обрабатывает многие тысячи файлов и документов, используя 16 процессоров для обработки заданий, поставленных в очередь в JoinableQueue. Мы столкнулись с проблемой, когда некоторые из файлов / ...
вопрос задан: 18 March 2019 18:59
0
ответов
Передача пользовательского объекта между подпроцессами
У меня есть три файла следующим образом: "" "main.py" "" время импорта ray ray от ученика import ученик от работника import Worker ray.init () ученик = Learner.remote () worker = Worker.remote (ученик) ...
вопрос задан: 7 March 2019 03:01
0
ответов
Shared Memory - многопроцессорный метод spawn
У меня есть многопроцессорная программа на python3.5, которая использует multiprocessing.set_start_method ('spawn') (я не могу использовать 'fork' по другим причинам). У меня также есть большой список словарей, которые доступны на ...
вопрос задан: 5 March 2019 15:50
0
ответов
Python Использование многопроцессорной обработки для методов того же класса
Мне нужна помощь с многопроцессорным модулем Python. Я использую Python3.6.6. Моя структура кода выглядит примерно так: class ABC (): def __init __ (self): self.HOST = 'hostserver.com' ...
вопрос задан: 1 March 2019 23:21
0
ответов
Вызов другого приложения из bash в многопроцессорной среде Python выполняется очень медленно
Я пытаюсь использовать qark analyzer для анализа набора apks в многопроцессорной обработке с использованием python. Пытаясь проанализировать набор из 100 apks, я обнаружил, что приложение, которое я написал для автоматизации анализа, ...
вопрос задан: 25 February 2019 09:53
0
ответов
Выравнивание памяти для быстрого БПФ в Python с использованием общих массивов
Я пишу приложение для обработки изображений, которое должно делать несколько вещей и он должен делать их в максимально возможной степени в режиме реального времени Сбор данных и их обработка выполняются в отдельных процессах (в основном ...
вопрос задан: 24 February 2019 03:59
0
ответов
Использование многопроцессорной обработки вместо многопоточности (Python)
Я работаю над приложением для самостоятельного вождения автомобиля. Я использую 3 потока для этих функций: video_stream (), sensor_stream () и drive_stream (). Это мой код: import sys import threading import ...
вопрос задан: 19 February 2019 08:50
0
ответов
Совместное использование объекта (экземпляра класса )в python с использованием менеджеров
Мне нужно разделить объект и его методы между несколькими процессами в python. Я пытаюсь использовать менеджеры (в многопроцессорной обработке модулей ), но происходит сбой. Вот глупый пример производителя -потребителя...
вопрос задан: 4 February 2019 22:23
0
ответов
Можно ли обучать модели keras на многих тренировочных комплексах многопроцессорным способом?
Я запускаю python v = 3.6.7 с PyCharm, используя виртуальную среду conda. Моя версия tenorflow - 1.12.0. Я хочу тренировать много моделей керас на различных тренировочных комплексах. Так как тренировка на одном ...
вопрос задан: 19 January 2019 13:03
0
ответов
клиент слушателя сокета в мультипроцессоре не выходил
Хотите написать сокет-клиент с многопроцессорной обработкой, есть идеи, что не так в следующем коде? Мне не нужно писать сервер на python, но мне нужно сгенерировать свободный порт на локальном хосте, прежде чем ...
вопрос задан: 19 January 2019 06:10
0
ответов
Многопоточность и многопроцессорность с помощью asyncio
У меня есть программа, которая запрашивает таблицу в базе данных postgres, затем разбивает результат запроса на группы и загружает каждую группу в BLOB-объект Azure. Загрузка BLOB-объектов выполняется с использованием concurrent.futures ....
вопрос задан: 17 January 2019 17:26
0
ответов
Как надежно убедиться, что определенное количество процессов каждый выполняет часть кода один раз?
У меня есть некоторый код, где у меня есть число x процессов, основанных на одной и той же функции, выполняемой вместе, и мне нужно надежно (100% времени), чтобы каждый из указанных процессов выполнял определенную часть кода ...
вопрос задан: 17 January 2019 14:57
0
ответов
Завершение request.post в середине соединения при использовании многопроцессорной обработки
Прямо сейчас логика такова: Multiprocess request.posts, пока мы не получим требуемый ответ. Установите событие для остановки и завершения процессов, НО, запросы, которые были выполнены до завершения, все еще заканчиваются ...
вопрос задан: 17 January 2019 07:53
0
ответов
Какой многопроцессорный пакет я должен использовать для Python 3.6, который будет работать с моим кодом?
У меня есть код, который выполняется более 6 часов, однако я думаю, что его можно легко распараллелить для того, кто его понимает, а не для меня :(. Код работает над пандой dataframe, называемой метаданными, и загружает некоторые ...
вопрос задан: 16 January 2019 19:34
0
ответов
Многопроцессорное чтение и запись в разные файлы, процесс зависает
Три сегмента кода перечислены, процесс зависает после создания 4 пустых файлов tfrecord в выходной папке. Этот код предполагает чтение списка кортежей (video_path, label) и для каждого кортежа ...
вопрос задан: 16 January 2019 12:36
0
ответов
Параллельные тесты в pytest
Я хочу запустить один тестовый модуль для разных параметров командной строки параллельно. Может ли это быть достигнуто в pytest? Так, например, если у меня есть тестовый модуль с именем test_webservice.py, и я принимаю один ...
вопрос задан: 16 January 2019 09:20
0
ответов
Запись в фрейм данных с использованием чанков (многопроцессорная обработка)
Мотивация Я пытаюсь оптимизировать мой код при записи значений (в строках) в мой фрейм данных. Вот идея, у меня есть dataframe из n строк и p столбцов, и я пытаюсь добавить значение для каждой строки ...
вопрос задан: 15 January 2019 22:20
0
ответов
Распараллеливание векторной операции Numpy
Используем, например, numpy.sin ()Следующий код вернет значение синуса для каждого значения массива a :import numpy a = numpy.arange (1000000 )результат = numpy.sin (a )Но мой...
вопрос задан: 2 January 2019 19:23
0
ответов
как ускорить многопроцессорный питон
Я пытаюсь сгенерировать изображение из набора Мандельброта, но оно занимает много времени. Код раздражающе медленный, поэтому, если вы можете помочь мне ускорить его, это было бы очень полезно. Благодарю. Обратите внимание, что код компилируется и ...
вопрос задан: 1 January 2019 18:01
0
ответов
Многопроцессорность - конвейер против очереди
Каковы фундаментальные различия между очередями и конвейерами в пакете многопроцессорной обработки Python? В каких сценариях следует выбирать одно перед другим? Когда выгодно использовать Pipe ()? ...
вопрос задан: 26 December 2018 17:35
0
ответов
Как обнаружить и узнать, что программа находится в тупике?
Это вопрос для интервью. Как определить и выяснить, находится ли программа в тупике? Есть ли какие-то инструменты, которые можно использовать для этого в Linux/Unix системах? Моя идея: Если программа не делает никаких ...
вопрос задан: 24 December 2018 10:49
0
ответов
Обработка одного файла из нескольких процессов
У меня есть один большой текстовый файл, в котором я хочу обработать каждую строку (, выполнить некоторые операции )и сохранить их в базе данных. Так как одна простая программа занимает слишком много времени, я хочу, чтобы это было сделано через...
вопрос задан: 27 November 2018 02:31
0
ответов
многопроцессорность: как передать dict между несколькими процессами?
Программа, которая создает несколько процессов, которые работают с объединением -able queue, Q, и может в конечном итоге управлять глобальным словарем D для сохранения результатов. (так что каждый дочерний процесс может использовать D для хранения свое
вопрос задан: 27 November 2018 02:09
0
ответов
numpy против multiprocessing и mmap
Я использую многопроцессорный модуль Python для параллельной обработки больших массивов numpy. Массивы отображаются в памяти с помощью numpy.load(mmap_mode='r') в главном процессе. После этого многопроцессорность....
вопрос задан: 25 November 2018 12:13
0
ответов
Многопроцессорность Python - Просто не понимаю
Я потратил некоторое время, пытаясь понять многопроцессорность, хотя ее тонкости ускользают от моего неподготовленного ума. Мне удалось заставить пул возвращать простое целое число, но если функция не ...
вопрос задан: 20 November 2018 15:11
0
ответов
Является ли Celery столь же эффективным в локальной системе, как многопроцессорность python?
У меня небольшие проблемы с принятием решения о том, что использовать многопроцессорность python, сельдерей или pp для моего приложения . Мое приложение очень загружено ЦП, но в настоящее время использует только один ЦП, поэтому мне нужно распространить
вопрос задан: 20 November 2018 05:30