& ldquo; Большие данные & rdquo; рабочие потоки с использованием панд

Детский процесс env теряется в момент его прекращения существования и перемещение содержимого среды отсюда к родительскому лицу несколько сложно.

Что вам, вероятно, нужно сделать, это создать скрипт оболочки (вы можете генерировать один динамически в / tmp), который выведет переменные среды virtualenv в файл, который затем вы читаете в родительском процессе Python и помещаете в os.environ.

Или вы просто анализируете активацию скрипта при использовании для строки («bin / activate») и вручную извлекать материал и помещать в os.environ. Трудно, но не невозможно.

874
задан Community 22 September 2017 в 17:44
поделиться

1 ответ

У меня были немного огромные .csv файлы для загрузки панд использования. Это заняло бы 5 минут на файл на машине Linux.

я столкнулся modin!!

Все Вам нужен он эта замена в Вашем коде:

# import pandas as pd # the old slow alternative
import modin.pandas as pd

enter image description here

-1
ответ дан serafeim 28 July 2019 в 16:34
поделиться
Другие вопросы по тегам:

Похожие вопросы: