Программно использовать функцию инструмента XSD.exe (генерировать схему из класса) через классы .NET Framework?

Недавно я столкнулся с этим сценарием (более 7 миллионов строк) и стал использовать sqlcmd через powershell (после разбора необработанных данных в операторы вставки SQL) в сегментах по 5000 экземпляров (SQL не может обрабатывать 7 миллионов строк в один кусок работы или даже 500 000 строк, если только он не разбит на меньшие 5K штук. Затем вы можете запускать каждый сценарий 5K один за другим.), поскольку мне нужно было использовать новую команду последовательности в SQL Server 2012 Enterprise. Я не мог найти программный способ быстро и эффективно вставить семь миллионов строк данных с указанной командой последовательности.

Во-вторых, одна из вещей, которые нужно учитывать при вставке миллиона строк или более данных в одним сидением является потребление центрального процессора и памяти (в основном память) во время процесса вставки. SQL будет потреблять память / процессор с заданием такого масштаба без освобождения упомянутых процессов. Излишне говорить, что если у вас недостаточно вычислительной мощности или памяти на вашем сервере, вы можете быстро ее свернуть в кратчайшие сроки (что я обнаружил на своем пути). Если вы дойдете до того, что потребление памяти превышает 70-75%, просто перезагрузите сервер, и процессы будут возвращены в нормальное состояние.

Мне пришлось запустить кучу пробных и пробных тестов, чтобы узнать, какие ограничения для моего сервера (учитывая ограниченные ресурсы ЦП / памяти для работы), прежде чем я смогу фактически получить окончательный план выполнения. Я бы посоветовал вам сделать то же самое в тестовой среде, прежде чем вносить это в производство.

7
задан John K 10 November 2010 в 23:27
поделиться