Библиотека Dask может считывать данные из нескольких файлов:
>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')
(Источник: http://dask.pydata.org/en/latest/examples/dataframe-csv. html )
Dataframes Dask реализует подмножество API-интерфейсов данных Pandas. Если все данные вписываются в память, вы можете вызвать df.compute()
, чтобы преобразовать данные в рамку данных Pandas.
NetworkStream.Read вернет количество прочитанных байтов. Вы можете использовать это для извлечения только фактических данных.
int receivedBytes = stream.Read(receivedBuffer, 0, receivedBuffer.Length);
string msg = Encoding.ASCII.GetString(receivedBuffer,0,receivedBytes);