У меня есть основной процесс Python и группа рабочих, созданная основным процессом с помощью os.fork ()
.
Мне нужно передать большие и довольно сложные структуры данных из рабочие вернулись к основному процессу. Какие существующие библиотеки вы бы порекомендовали для этого?
Структуры данных представляют собой сочетание списков, словарей, numpy
массивов , настраиваемых классов (которые я могу настроить) и многослойных комбинаций выше.
Следует избегать дискового ввода-вывода. Если бы я мог также избежать создания копий данных - например, имея какое-то решение с общей памятью - это тоже было бы неплохо, но не является жестким ограничением.
Для целей этого вопроса это обязательно, чтобы рабочие были созданы с использованием os.fork ()
или его оболочки, которая клонировала бы адресное пространство главного процесса.
Это должно работать только в Linux.