Библиотека Dask может считывать данные из нескольких файлов:
>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')
(Источник: http://dask.pydata.org/en/latest/examples/dataframe-csv. html )
Dataframes Dask реализует подмножество API-интерфейсов данных Pandas. Если все данные вписываются в память, вы можете вызвать df.compute()
, чтобы преобразовать данные в рамку данных Pandas.