0
ответов
Как преобразовать лист Excel в базу данных MySQL, используя инструменты ETL
Мне нужно преобразовать Excel, взятый в качестве входных данных в таблицу базы данных MySQL. При поиске инструментов, относящихся к нему, я обнаружил, что инструменты ETL (например, инструмент pentaho kettle etl). Может ли кто-нибудь сказать, является ли
вопрос задан: 26 February 2015 08:34
0
ответов
Какой самый эффективный способ преобразовать набор результатов MySQL в массив NumPy?
Я использую MySQLdb и Python. У меня есть несколько основных запросов, например: c = db.cursor ()
c.execute ("ВЫБРАТЬ идентификатор, рейтинг из видео")
results = c.fetchall () Мне нужно, чтобы "результаты" были массивом NumPy, и я ...
вопрос задан: 25 February 2014 20:40
0
ответов
Пентахо-чайник: необходимо динамически создавать задания ETL на основе пользовательского ввода
В моем приложении пользователь может указать формат своего файла. На основе пользовательского ввода мы динамически создаем пакет SSIS. Http : //lakshmik.blogspot.com/2005/05...eate-ssis.html Динамически создаваемый SSIS ...
вопрос задан: 15 January 2014 01:55
0
ответов
SSIS против Pentaho
Кто-нибудь использовал оба из них, чтобы обеспечить хорошее сравнение. Я делаю школьный проект, поэтому стоимость SSIS не является проблемой, поскольку у нас уже есть лицензия на него. Предыстория происходящего. Я...
вопрос задан: 17 July 2012 06:14
0
ответов
Автоматическое удаление и повторное создание текущих индексов
Я работаю над созданием метода, позволяющего массово обновлять наши таблицы (более чем на 1 млн новых или обновленных строк за одно обновление ), и мне было интересно удалить текущие индексы и воссоздать их после...
вопрос задан: 2 July 2012 21:40
0
ответов
Как добавить сторонние библиотеки в проект Talend?
Как добавить сторонние библиотеки (файлы jar )в проект Talend? Еще один вопрос: каждый компонент Talend использует LogFactory, но в моем случае он выдает java.lang.NoClassDefFoundError :org....
вопрос задан: 2 July 2012 09:00
0
ответов
MongoDB
Я пытаюсь переместить моментальные снимки данных из нашей MongoDB в наше хранилище данных Oracle BI Команда BI попросила меня сделать данные доступными для ODI, но я не смог найти пример ...
вопрос задан: 15 May 2012 02:28
0
ответов
Как я фиксирую 'Значение недопустимого символа для спецификации броска' на столбце даты в плоском файле?
у меня есть файл CSV с {LF}, разграничивающий каждую строку и столбец даты с форматом даты как "20.12.2010" (включая кавычки), Мой целевой столбец является таблицей базы данных SQL Server 2008 года типа...
вопрос задан: 5 May 2012 09:01
0
ответов
Как мне разделить данные плоского файла и загрузить их в родительско-дочерние таблицы в базе данных?
Я денормализовал данные (поступающие из файла), которые необходимо импортировать в родительско-дочерние таблицы. Исходные данные выглядят примерно так: Account # Name Membership Email
101 J ...
вопрос задан: 28 April 2012 17:15
0
ответов
Как классифицировать/категоризировать строки в соответствии с правилами регулярных выражений в Python
Я пишу ETL-скрипт на Python, который получает данные в файлах CSV, проверяет и дезинфицирует данные, а также классифицирует или классифицирует каждую строку в соответствии с некоторыми правил и, наконец, загружает их в ...
вопрос задан: 8 March 2012 19:45
0
ответов
SSIS — компонент сценария, разделение одной строки на несколько строк (вариант «родитель-потомок»)
Заранее спасибо за помощь. Мне нужна помощь в написании компонента сценария SSIS для разделения одной строки на несколько строк. Там было много полезных блогов и постов, которые я просмотрел ниже: http://...
вопрос задан: 6 March 2012 02:25
0
ответов
Существуют ли какие-либо инструменты ETL, которые интегрируются с моделями Rails?
Я изучаю инструменты ETL для импорта плоских файлов в базу данных и последующего экспорта файлов xml. Многие инструменты поддерживают создание кода для использования в вашем приложении; однако я не нашел ...
вопрос задан: 23 February 2012 21:55
0
ответов
Платформа ETL с открытым исходным кодом [закрыто]
Меня попросили создать прототип двух структур ETL. Требования следующие: Открытый исходный код
Доступно для Linux
Поддерживается
Журналы можно просматривать в веб-браузере (желательно)
Написано на Perl, Python, ...
вопрос задан: 18 January 2012 03:45
0
ответов
.NET ETL Process
Сначала немного предыстории; мы разрабатываем хранилище данных и изучаем, какие инструменты использовать для нашего процесса ETL. Команда очень ориентирована на разработчиков, все знают C #. Пока ...
вопрос задан: 3 October 2011 23:46
0
ответов
Преобразование хранимых процедур SQL Server в пакет SSIS
Проблема: в настоящее время у нас есть множество хранимых процедур (очень давно до 10, 000 строк), которые были написаны различными разработчиками для различных требований за последние 10 лет. Сейчас стало трудно ...
вопрос задан: 28 May 2011 18:07
0
ответов
0
ответов
Каково определение реального времени, почти реального времени и пакетной обработки? Приведите примеры каждого?
Я пытаюсь дать хорошее определение реального времени, почти реального времени и пакетного? Я не говорю о синхронизации и асинхронности, хотя для меня это разные измерения. Вот что я думаю в реальном времени ...
вопрос задан: 10 March 2011 23:33
0
ответов
Имеет ли значение порядок столбцов в запросе?
При выборе столбцов из таблицы MySQL на производительность влияет порядок, который вы выбираете столбцы по сравнению с их порядком в таблице (без учета индексов, которые могут покрывать столбцы)? ...
вопрос задан: 24 January 2011 22:39
0
ответов
Параметры ETL с Postgres [закрыто]
В настоящее время мы храним нашу базу данных postgres, используя SSIS, но есть определенные вещи, которые мы не можем делать, например, с провайдером ADO.Net невозможно использовать параметры в источнике данных потока данных ...
вопрос задан: 4 January 2011 19:10
0
ответов
Дизайн и производительность обработки ETL
Я работаю над процессом ETL для хранилища данных с использованием C #, который поддерживает как SQL Server, так и Oracle. Во время разработки я писал хранимые процедуры, которые синхронизируют данные из одного ...
вопрос задан: 2 December 2010 07:35
0
ответов
Java ETL: трудно найти подходящий [closed]
Я ищу встраиваемый Java ETL, т. е. Извлечь механизм загрузки преобразования, который может быть вызван из кода Java. Мне на удивление сложно найти подходящий. В основном я смотрю на ...
вопрос задан: 23 November 2010 02:45
0
ответов
Используя Pentaho Kettle, как мне загрузить несколько таблиц из одной таблицы с сохранением ссылочной целостности?
Необходимо загрузить данные из одного файла с более чем 100 000 записей в несколько таблиц MySQL, сохраняя связи, определенные в файле / таблицах; это означает, что отношения уже совпадают. ...
вопрос задан: 14 November 2010 22:12
0
ответов
ETL с использованием Python
Я работаю над хранилищем данных и ищу решение ETL, использующее Python.
Я играл со SnapLogic как с ETL, но мне было интересно, есть ли другие решения. Эти данные ...
вопрос задан: 22 September 2010 02:11
0
ответов
Размер файла MDF намного больше, чем фактические данные
По какой-то причине мой файл MDF составляет 154 гига, однако Я загрузил только 7 гигабайт данных из плоских файлов. Почему файл MDF намного больше, чем фактические исходные данные? Больше информации: только несколько таблиц ...
вопрос задан: 18 August 2010 15:29
0
ответов
Spring-Batch для массовой ночной / почасовой обработки данных Hive / MySQL
I ' Я собираюсь заменить несколько сценариев Python ETL, которые выполняют еженедельную / почасовую сводку данных и сбор статистики для огромного количества данных. Чего я хотел бы добиться, так это Robustness - ...
вопрос задан: 16 August 2010 16:52
0
ответов
Платформа ETL для загрузки данных в приложение для направляющих
Я должен загрузить данные для своего приложения направляющих от нескольких поставщиков (REST/SOAP базирующаяся подача XML) в базу данных на повторяющейся основе. Я записал ряд задач Граблей, которые начаты...
вопрос задан: 18 January 2010 21:16