1
ответ
Почему мой код занимает так много времени, чтобы написать файл CSV в Dask Python
Ниже приведен мой код Python: импортировать dask.dataframe как dd VALUE2015 = dd.read_csv ('A / SKD - M2M от продавца (значение по uom) (NEWSALES) 2015-2016.csv', usecols = VALUEFY, dtype = traintypes1) ОТЧЕТ знак равно
вопрос задан: 17 January 2019 05:10
1
ответ
Расчеты Dask требуют много времени для инициализации в ноутбуке Jupyter
Я пытаюсь использовать Dask для работы с набором данных, превышающим объем памяти, на моем ноутбуке через ноутбук Jupyter. Данные хранятся в виде множества CSV-файлов в корзине Amazon-s3. Эта первая клетка работает быстро ...
вопрос задан: 16 January 2019 18:09
0
ответов
Как закрыть / удалить только одного работника Dask среди многих клиентов или планировщика
Похоже на проблему в этом посте, но только для одного работника. Я реализовал код в ответе, заданном mdurant, и передал один рабочий идентификатор, полученный от scheduler_id ['worker'], но что ...
вопрос задан: 28 March 2019 20:58
0
ответов
распределен, не запускается рабочий
Есть случаи, когда кажется, что кластер dask зависает при перезапуске, чтобы симулировать это, я написал этот глупый код: import contextlib2 из распределенного импорта Client, LocalCluster for i in ...
вопрос задан: 1 January 2019 19:44
0
ответов
dask read_csv timeout на Amazon s3 с большими файлами
dask read_csv тайм-аут на s3 для больших файлов s3fs.S3FileSystem.read_timeout = 5184000 # один день s3fs.S3FileSystem.connect_timeout = 5184000 # один день клиент = клиент ('a_remote_scheduler_ip_here: 8786') ...
вопрос задан: 30 December 2018 02:27