Как я поворачиваю плоский файл данных в queryable источник данных
Я генерирую файлы, позволяет, называют их .dwrf файлами, которые содержат существенный объем данных. В настоящее время мы экспортируем тех, которые к.CSV, и получающиеся файлы являются большими (2 ГБ +). Я хотел бы отключить процесс экспорта и сделать содержание .dwrf файла queryable непосредственно от Excel или других приложений.
То, что я хотел бы сделать, записать, что утилита/сервис - позволяет, называют это dwrfMiner - чтобы извлечь данные из файла и передать его как источник данных и связать dwrfMiner с .dwrf файлами в некотором роде так, чтобы Excel распознал его как внешний источник данных.
Какие-либо идеи?
5 ответов
При написании драйвера ODBC для этого, вероятно, будет излишним, если формат файлов, с которыми вы работаете, известен заранее и его не так сложно перевести (похоже, что вы не рассматриваете уже создают CSV), то использование ODBC DSN - лучший вариант.
Есть хороший набор драйверов ODBC, уже встроенных в Windows (.txt, .csv, .mdb, .xl *, .dbf, Paradox .db и т. Д.), И вы можете получить другие драйверы из Интернета для много распространенных форматов.
Если размер существующего формата, в который вы экспортируете, слишком обременительный (CSV), то логической точкой для начала является преобразование ваших данных во что-то более компактное с поддержкой ODBC.
В противном случае ваш последний вариант - это избыточный вариант (написание драйвера ODBC).
Excel может запрашивать внешние источники данных, но имейте в виду, что Excel (все версии) имеет жесткие ограничения на количество строк, которые они могут отображать в одной книге. Думаю, в Excel 2003 ограничение составляет ~ 65к. В других версиях он выше.
См. Мой вопрос: средство / средство просмотра отчетов для больших наборов данных (а у меня было гораздо меньше> 2 ГБ).
Я использовал PHP FlatFile DB для запроса плоских файлов в прошлом
Я бы достал gcc и написал для него полный драйвер ODBC. Тогда вы можете расслабиться и использовать SQL.
Знаешь, если тебе скучно. ;)