Самый эффективный способ загрузить отформатированные двоичные файлы в Python
Основываясь на типах SQL для логических типов паркета и , сопоставлении типов данных для файлов паркета в операции копирования фабрики данных, поддерживается тип данных Decimal. Десятичные данные преобразуются в двоичный тип данных.
Вернуться к сообщению об ошибке:
Сбой произошел на стороне источника. ErrorCode = UserErrorParquetTypeNotSupported, 'Type = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException, Message = Десятичная точность или информация о масштабе не найдена в схеме для столбца: ADDRESSLONGITUDE, Source = Microsoft.DataTransfer.Richfile.PginT.ParquetT. InvalidCastException, Message = Object нельзя преобразовать из DBNull в другие типы., Source = mscorlib, '
blockquote>Если числовые данные имеют значение
null, они будут преобразованы в тип данныхIntбез какой-либо десятичной точности или масштаба информации.
Формат CSV не имеет этого процесса преобразования, поэтому вы можете установить значение по умолчанию для ваших числовых данных.
4 ответа
структура должна работать на раздел заголовка, в то время как memmap numpy был бы эффективен для раздела данных, если Вы собираетесь управлять им в numpy так или иначе. Нет никакой потребности подчеркнуть о том, чтобы быть непоследовательным здесь. Оба метода совместимы, просто используют правильный инструмент для каждого задания.
Используйте модуль структуры или возможно пользовательский модуль, записанный в C, если производительность очень важна.
Я нашел это array.fromfile самые быстрые методы для гомогенных данных.