Как мне загрузить большой плоский файл в таблицу базы данных с помощью SSIS?

Я не знаю, как это работает, поэтому ищу правильное решение. Я думаю, что SSIS - правильный путь, но я никогда раньше не использовал его

Сценарий:

Каждое утро, Я получаю файл с разделителями табуляции и 800 КБ записей. Мне нужно загрузить его в свою базу данных:

  1. Получить файл с ftp или локально
  2. Во-первых, мне нужно удалить из базы данных тот, которого нет в новом файле;
    • Как я могу сравнить данные в tsql
    • Куда мне загружать данные из файла с разделителями табуляции, чтобы сравнить их с файлом? Стоит ли использовать временную таблицу? ItemID - уникальный столбец в таблице.
  3. Во-вторых, мне нужно вставить только новые записи в базу данных.
  4. Конечно, это должно быть автоматизировано.
  5. Это должно быть эффективным способ без перегрева базы данных SQL

Не забывайте, что файл содержит 800K записей.

Пример данных плоского файла:

ID  ItemID  ItemName  ItemType
--  ------  --------  --------
 1  2345    Apple     Fruit
 2  4578    Banana    Fruit

Как я могу решить эту проблему?

11
задан Michael Born 15 May 2012 в 16:17
поделиться