Мне часто приходится применять функцию к группам очень большогоDataFrame
(смешанных типов данных )и хотел бы использовать преимущества нескольких ядер.
Я могу создать итератор из групп и использовать модуль многопроцессорности, но это неэффективно, потому что каждая группа и результаты функции должны обрабатываться для обмена сообщениями между процессами.
Есть ли способ избежать травления или даже полностью избежать копирования DataFrame
? Похоже, что функции разделяемой памяти многопроцессорных модулей ограничены numpy
массивами. Есть ли другие варианты?